KI-Labyrinth soll unerwünschte Bots abwehren
Immer mehr Bots setzen sich darüber hinweg, dass sie unerwünscht sind. Cloudflare will ihnen mit einem Labyrinth-Trick das Handwerk legen.
(Bild: Cloudflare)
Mit einem KI-erzeugten Labyrinth will der Dienstleister Cloudflare KI-Crawler und andere Bots entlarven und davon abhalten, unerlaubt Inhalte abzurufen. Das "AI Labyrinth" soll unerwünschte Crawler, die sich über "No-Crawl"-Direktiven hinwegsetzen, verlangsamen, verwirren und ihre Rechenzeit verschwenden. Etwas Ähnliches hatte ein Entwickler bereits im Januar als Tool namens Nepenthes vorgestellt.
Laut Cloudflare machen KI-Crawler mittlerweile mehr als 50 Milliarden Anfragen täglich auf dem Cloudflare-Netzwerk aus – knapp ein Prozent aller Web-Anfragen. Diese Bots einzeln zu identifizieren und zu sperren, habe zu einer Art Wettrüsten geführt, das Zeit und Geld kostet, aber nicht wirklich etwas an dem Problem ändert, heißt es in einem Blogpost.
Honeypot für KI-Bots
Das AI-Labyrinth soll hingegen wie eine Art Honeypot funktionieren. Wenn ein unbefugter Crawler erkannt wird, leitet das System ihn nicht ab, sondern verknüpft die angefragte Seite mit einer Reihe von KI-generierten Seiten. Diese sehen laut Cloudflare überzeugend genug aus, um den Crawler zum Durchlaufen zu verleiten. Die Inhalte gehören jedoch nicht zur eigentlichen Website, wodurch der Crawler Zeit und Ressourcen verschwendet. Damit keine Falschinformationen verbreitet werden, soll es sich um wissenschaftlich richtige Inhalte handeln, die aber in keiner Verbindung zur eigentlich aufgerufenen Seite stehen.
Videos by heise
Die Logik der Cloudflare-Entwickler ist, dass sich ein echter Mensch nicht über vier Links in ein Labyrinth KI-generierter Inhalte bewegen würden. Daraus lasse sich mit hoher Wahrscheinlichkeit auf einen Bot schließen, dessen weitere Angaben dann zur besseren Bot-Erkennung verwendet werden sollen.
Als versteckte Links integriert
Für die Erzeugung der Inhalte nutzt Cloudflare Workers AI mit einem Open-Source-Modell. Um Leistungseinbußen zu vermeiden, werden die Inhalte nicht in Echtzeit erstellt, sondern vorab generiert, auf XSS-Schwachstellen überprüft und in R2 für schnelleren Abruf gespeichert.
Die vorgenerierten Inhalte werden als versteckte Links auf Seiten integriert. Jede generierte Seite enthält Meta-Tags, um eine Indexierung durch Suchmaschinen zu verhindern. Durch gezielte Attribute und Styling bleiben diese Links für menschliche Besucher unsichtbar. Das neue AI-Labyrinth steht allen Kunden von Cloudflare zur Auswahl bereit, schreibt das Unternehmen.
(mki)
