Googles Crawler stößt ins unsichtbare Web vor
Der Suchmaschinen-Robot von Google kann jetzt auch Seiten indexieren, die hinter Formularen liegen und bisher für Suchmaschinen nicht zugänglich waren.
Große Teile des Webs liegen in für Suchmaschinen bisher unzugänglichen Bereichen, etwa in Datenbanken. Suchmaschinen-Spidern versperrten dort bislang Eingabeformularen den Zugang – die "dummen" Crawler konnten diese bislang nicht bedienen. Man spricht daher auch vom unsichtbaren oder dunklen Web (Invisible Web, dark Web), weil sich seine Inhalte nicht in Suchmaschinen widerspiegeln.
Laut einem Posting in Googles Webmaster-Blog versucht sich Googles Crawler Googlebot jetzt auch an Formularen. Findet er auf "hochwertigen" Sites Seiten mit Eingabefeldern, so füllt er sie mit Begriffen, die er auf der Seite findet. Menüs, Checkboxen und Radio-Buttons bedient der Crawler auf ähnliche Weise. Dabei hält er sich an Vorgaben von Webmastern, ob er bestimmte Bereiche betreten darf oder nicht – robots.txt, nofollow- und noindex-Anweisungen behalten also ihre Wirkung.
Yahoo hat seine Crawler ebenfalls überarbeitet, allerdings weniger spektakulär. So kommunizieren sie jetzt einen neuen User-Agent, Yahoo! Slurp/3.0. Yahoo hat eine Liste mit den wichtigsten Fragen und Antworten zum Crawler zusammengestellt. (jo)
