Das Web-Geschäft funktioniert nicht mehr – KI-Bots lösen Suche und Werbung ab

Inhaltsverzeichnis

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

Don’t show this again.

Cloudflare-CEO Matthew Prince hat in einem Vortrag seine Sicht auf das „Internet after Search“ dargelegt. Seine These: Die klassische Web-Suche über Google und andere Suchmaschinen verliert an Bedeutung, während KI-gestützte Agenten und Bots zunehmend den Traffic im Netz bestimmen. Für Website-Betreiber und Publisher bedeute das einen fundamentalen Umbruch.

In seinem Vortrag auf YouTube präsentierte Prince Daten aus dem Cloudflare-Netzwerk, das nach eigenen Angaben einen erheblichen Anteil des globalen Internetverkehrs abwickelt. Demnach sei der Anteil von Bot-Traffic seit Anfang 2025 spürbar gestiegen. KI-Crawler von Unternehmen wie OpenAI, Anthropic und weiteren Anbietern großer Sprachmodelle durchforsten das Web systematisch, um Trainingsdaten zu sammeln oder Echtzeit-Antworten für ihre Nutzer zu generieren. Prince sprach von einer Verschiebung: Wo früher menschliche Nutzer über Suchmaschinen auf Websites gelangten, übernähmen zunehmend automatisierte Systeme diese Rolle.

Bot-Traffic belastet Infrastruktur

Diese Entwicklung hat direkte Auswirkungen auf die Infrastruktur. Wenn KI-Bots Websites crawlen, erzeugen sie Serverlast, ohne dass die betroffenen Betreiber davon wirtschaftlich profitieren. Für Webhoster bedeutet das steigende Kosten bei gleichzeitig sinkendem menschlichem Traffic. Cloudflare beobachte, dass viele Website-Betreiber inzwischen nach Werkzeugen suchten, um diesen Bot-Verkehr zu kontrollieren oder einzuschränken.

Prince argumentierte, dass das bisherige Geschäftsmodell des Webs – Inhalte kostenlos anbieten, über Suchmaschinen-Traffic Reichweite erzielen und über Werbung refinanzieren – in dieser Form nicht mehr funktioniere. Wenn KI-Systeme Inhalte direkt zusammenfassten und dem Nutzer präsentierten, entfalle der Klick auf die Originalquelle. Publisher verlören damit sowohl Reichweite als auch Werbeeinnahmen.

Cloudflare positioniert sich als Vermittler

Cloudflare sieht sich selbst in einer Schlüsselposition zwischen KI-Unternehmen und Website-Betreibern. Prince verwies auf vom Unternehmen entwickelte Tools, mit denen Publisher kontrollieren können, welche KI-Crawler Zugriff auf ihre Inhalte erhalten – und zu welchen Bedingungen. Im Kern gehe es um die Frage, ob und wie Betreiber ihre Inhalte an KI-Firmen lizenzieren könnten. Einige große internationale Publisher haben bereits entsprechende Vereinbarungen mit OpenAI oder Google getroffen, doch für die Mehrheit kleinerer und mittlerer Anbieter fehlen praktikable Mechanismen.

Besonders für den europäischen Markt stellen sich dabei zusätzlich regulatorische Fragen. Die DSGVO und der AI Act der EU setzen enge Grenzen für den Umgang mit Daten. Ob Cloudflare spezifische Werkzeuge für EU-konforme KI-Crawler-Kontrolle plant, ließ Prince in seinem Vortrag offen. Die Nachfrage danach dürfte jedoch steigen: Deutsche Publisher wie große Medienhäuser stehen genauso wie US-Publisher vor der Entscheidung, ob sie ihre Inhalte aktiv an KI-Firmen lizenzieren oder den Zugriff unterbinden wollen.

Ein Web ohne klassische Suche?

Princes Vision eines „Internet after Search“ ist nicht gleichbedeutend mit dem Ende von Suchmaschinen. Vielmehr beschreibt er eine Übergangsphase, in der KI-Agenten als Intermediäre zwischen Nutzern und Inhalten treten. Das verändere die Machtverhältnisse im Netz grundlegend: Nicht mehr die Suchmaschine entscheide, welche Inhalte sichtbar seien, sondern der KI-Agent, der Informationen aus verschiedenen Quellen zusammenstelle und aufbereite.

(fo)