Yahoo crawlt tief und gegen Bezahlung

Yahoo baut sein so genanntes Paid Inclusion Program um, mit dem Website-Betreiber ihre Seiten gegen Geld bei dem Suchdienst anmelden können. Mit dem neuen Programm namens Site Match lässt sich eine Site unter anderem bei allen zu Yahoo gehörenden Suchdiensten auf einen Schlag anmelden, also außer bei Yahoo selbst auch bei AltaVista und AlltheWeb. Zusätzliche Dienstleistungen umfassen etwa ein Refresh der Site-Informationen im Index alle 48 Stunden und tägliche Statistiken. Das Preismodell hat es in sich: Eine URL anzumelden kostet pro Jahr 49 US-Dollar, zusätzlich kostet jeder Klick eines Besuchers auf den Link 15 oder 30 US-Cent.

Außerdem hat Yahoo angekündigt, seine Suchfunktionen um die Recherche in Online-Datenbanken zu erweitern. Informationen aus solchen Quellen lassen sich oft nicht von den Crawlern der Volltextsuchmaschinen indizieren; sie sind dann via Google und Co. nicht auffindbar. Man spricht von ihnen daher auch als dem Invisible Web oder Deep Web. Yahoo hat sich mit einigen Betreibern zusammengetan, die ihre Datenbestände beisteuern sollen, unter anderem mit der Library of Congress, mehreren Universitäten und dem Gutenberg-Projekt, das Texte, die nicht mehr dem Urheberrecht unterliegen, in elektronischer Form veröffentlicht.

Wer schon heute im "unsichtbaren" Teil des Web recherchieren will, dem bieten invisible-web.net, der Librarians' Index to the Internet sowie die Suchfibel gute Einstiegspunkte dazu. (jo)