Suchroboter auf Abruf
Das US-Start-up 80legs ermöglicht das Anmieten eines verteilten Web-Crawlers, um spezielle Informationswünsche zu befriedigen.
Die Menge der im Web verfügbaren Daten nimmt stetig zu. Dabei stellt sich immer häufiger die Frage, wie man diese Informationen am besten zugänglich macht. Öffentliche Suchmaschinen sind eine Möglichkeit, doch sind sie nicht immer auf dem neuesten Stand. Ein Start-up namens 80legs aus Houston, Texas, glaubt nun, eine Lösung gefunden zu haben: Die Firma vermietet Suchroboter, die nach persönlichen Vorgaben Teile des Netzes durchkämmen. Riesige Server-Farmen, wie sie bei Google und Co. stehen, sollen dafür nicht mehr nötig sein; stattdessen wird verteilte PC-Technik eingesetzt, berichtet Technology Review in seiner Online-Ausgabe.
80legs will die Technologie auch kleinen Firmen und Einzelpersonen zugänglich machen, die dann nur dafür zahlen, was der Crawler tatsächlich leistet. Bei dem Start-up erwartet man sich neben Nutzern, die sich für Suchverfahren und Web-Semantik interessieren, auch ganz normale Endanwender. Marktforscher könnten 80legs beispielsweise nutzen, um die Erwähnung bestimmter Firmen oder Themen im Web zu untersuchen – und zwar viel schneller als mit Google.
Der Nutzer kann seinen gewünschten Crawl-Durchgang über ein Web-Interface einleiten. Dort lassen sich Parameter einstellen oder es lässt sich auch eigener Programmcode hochladen, der dann bestimmt, wie der Suchroboter vorgeht. 80legs-CEO Shion Deysarkar erläutert, dass die Systeme der Firma bis zu zwei Milliarden Seiten am Tag bearbeiten können. Dabei werden für jede Million gecrawlter Seiten 2 Dollar fällig, plus drei Cent pro Stunde für die abgerufene Rechenleistung.
Mehr zum Thema in Technology Review online:
(bsc)
