Immoscraping mit Python: Immobilienangebote automatisiert erfassen und speichern
Mit einem Webscraper wie Scrapy behalten Sie die Immobilienangebote im Blick. Die Daten lassen sich maschinenlesbar speichern und automatisch auswerten.
(Bild: Fit Ztudio/Shutterstock.com)
Der Immobilienmarkt ist heiß umkämpft. Die begehrten Wunschhäuser oder -wohnungen sind oft nur Minuten auf Immobilienportalen online, bevor der Verkäufer hunderte Mails erhält. Mit einem Scraping-Tool wie Scrapy werten Sie Suchergebnisse für Immobilien automatisch aus und können die Rohdaten weiterverarbeiten.
In diesem Artikel erklären wir Ihnen die Grundlagen des Scrapy-Frameworks praktisch. Zunächst soll Scrapy einen kleinen Text in der Konsole ausgeben, dann Daten aus einem Wikipedia-Artikel holen. Dabei stellen wir die Scrapy-Shell vor, die das Debugging erleichtert. Schließlich zeigen wir, wie Sie die Suchergebnisse eines Immobilienportals automatisch scrapen und die Daten zum Weiterverarbeiten als JSON- oder CSV-Datei speichern.
Scrapy gegen BeautifulSoup
Eine andere Bibliothek fürs Webscraping mit Python ist BeautifulSoup. Dabei ist BeautifulSoup eher eine Bibliothek fürs Parsen, Scrapy dagegen ein komplettes Framework fürs Webscraping. Das bedeutet, dass der Entwickler neben BeautifulSoup noch andere Bibliotheken benötigt, etwa Requests, um eine Anfrage an eine Website zu stellen. Scrapy liefert dafür alles mit, was man braucht.
Das war die Leseprobe unseres heise-Plus-Artikels "Immoscraping mit Python: Immobilienangebote automatisiert erfassen und speichern". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
