Google gehorcht Webmastern wieder
Beim Test einer neuen Funktion hatte Google auch Seiten erfasst, die die Suchmaschine gemäß der eigenen Indizierungsrichtlinie normalerweise außen vor lässt.
Google hat zu Meldungen Stellung genommen, in denen berichtet wurde, dass die Suchmaschine gegen Web-Standards verstoße. Der Suchmaschinen-Spezialist Klaus Schallhorn hatte festgestellt, dass Google auch Seiten von sicheren Servern indiziert, die das Protokoll HTTPS zur Übertragung benutzen. Dabei ignorierte Google entgegen der eigenen Indizierungsrichtlinie die Datei robots.txt, mit der Webmaster Suchmaschinen-Robots anweisen können, bestimmte Bereiche der Site zu besuchen beziehungsweise nicht zu berücksichtigen.
Google bestätigt in einer E-Mail an heise online diese Beobachtungen. Der Suchdienst habe eine neue Funktion getestet, die es ermöglicht, innerhalb der Suchergebnisse auch HTTPS-Seiten anzuzeigen. Das Unternehmen sieht darin ein wichtiges Feature, da viele Web-Seiten nur auf sicheren Servern verfügbar seien. Als Beispiel führt Google den PC-Fernzugriffsdienst GoToMyPC an.
Bei der Umsetzung der neuen Funktion sei ein Fehler aufgetreten, durch den die Datei robots.txt nicht berücksichtigt wurde. Google habe daher mittlerweile sämtliche HTTPS-Seiten aus seinem Cache entfernt. Die aufgerüstete Version von Googles Crawler soll robots.txt auch bei HTTPS-Seiten respektieren und noch innerhalb der nächsten 30 Tage zum Einsatz kommen. (jo)
