Googlebot erfasst künftig mehr dynamische Seiteninhalte

Google arbeitet gegenwärtig daran, den Webcrawler für die Indizierung von Websites ("Googlebot") soweit anzupassen, dass er auch solche Inhalte erfassen kann, die bisher hinter einer Mauer aus AJAX-Requests verborgen bleiben. So sollen künftig auch solche Inhalte erfasst werden können, die eine Website dynamisch nachlädt. "Wenn es sicher und angemessen ist" werde der Googlebot in solchen Fällen selbstständig POST-Requests an eine Webseite schicken, erklärt Google.

Im Webmaster Central Blog stellt Google den neuen Ansatz vor. Der Befürchtung, die POST-Requests könnten ungewollt Nutzeraktionen ausführen, begegnet der Artikel jedoch nur vage – man werde Vorsichtsmaßnahmen treffen, die dies verhindern sollen. In der Regel werde man nur solche Ressourcen abfragen, die eine Website ohnehin von sich aus nachlädt; Google simuliere lediglich einen üblichen Seitenaufruf, erläutert das Unternehmen.

Die Technik beruhe prinzipiell auf dem in den Google Instant Previews angewandten Verfahren, das im November 2010 erstmals experimentell in den Google Webmaster Tools vorgestellt wurde.

Damit bestätigt Google indirekt, dass Webseiten nicht nur zum Zweck einer reinen Vorschau gerendert würden, sondern eben auch mit dem Ziel, die Inhalte in den Suchindex aufnehmen zu können. Für SEO-Experten ist noch eine weitere Aussage interessant, mit der Google ausdrücklich davon abrät, relevante Inhalte hinter erforderlichen Nutzeraktionen zu verstecken: "Remember to include important content (i.e., the content you’d like indexed) as text, visible directly on the page and without requiring user-action to display."

Google verweist darauf, dass der Zugriff des Googlebots wie üblich über eine gültige robots.txt-Datei reglementiert werden könne. Mithilfe des nosnippets-Meta-Tags oder einem Abblocken des Google Web Preview User Agents könne zudem die Instant Preview (die Textauszüge und ein Vorschaubild der Website in den Suchergebnissen einblendet) unterdrückt werden. (rl)