RSL 1.0 statt robots.txt: Neuer Standard für Internet-Inhalte

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

Don’t show this again.

Really Simple Licensing 1.0 – der Name soll Programm sein. Mit RSL 1.0 soll geregelt werden, wie KI-Unternehmen Inhalte von Verlagen und anderen Inhalteerstellern nutzen dürfen. Dazu gehören auch Lizenzvereinbarungen. Es handelt sich um einen offenen Web-Standard, der zusätzlich von Organisationen wie Cloudflare, Akamai, Creative Commons und der IAB, also dem Verband der Online-Werbebranche, unterstützt wird.

Mehr als 1500 Medienunternehmen sollen den Standard bereits befürworten. Auf der eigens eingerichteten Webseite heißt es, RSL werde von Milliarden Webseiten genutzt. Das entspräche den meisten hochwertigen Inhalten des Internets, die für das KI-Training der großen Anbieter relevant sind. Es ist „der erste Lizenz-Standard, der Inhalte im KI-Zeitalter schützt“, heißt es.

Der Standard soll maschinenlesbar und transparent Lizenzvorgaben bereithalten, er basiert auf dem bekannten RSS-Standard (Really Simple Syndication). Die bisher genutzte robots.txt-Datei ermöglicht den Webseitenbetreibern nur einfache Ja/Nein-Regeln. RSL soll das um eine „universelle Sprache für Inhaltsrechte und Lizenzbedingungen“ erweitern. Webseitenbetreiber können so festlegen und kommunizieren, dass etwa Suchmaschinen Inhalte nutzen dürfen, KI-Suchanwendungen aber ausgeschlossen sind. Zudem ist auch die Möglichkeit gegeben, Geld- oder Sachleistungen zu verlangen, wenn Inhalte genutzt werden – etwa für das Training von KI-Modellen.

RSL selbst kann Crawler technisch nicht ausschließen. Unterstützer des Standards wie Cloudflare und Akamai können das jedoch.

Bisher waren Inhalte Freiwild für KI-Anbieter

Derzeit ist es so, dass beispielsweise Google keine Unterscheidung seiner Crawler anbietet. Wer in der Suche auftauchen möchte, muss auch jene Crawler zulassen, die Inhalte etwa für KI-Produkte und das Training abgreifen. Die EU-Kommission hat erst diese Woche ein Verfahren eingeleitet, um genau dieses Verhalten zu untersuchen. Im Raum steht, ob Google wettbewerbswidrig handelt und sowohl Inhalteersteller als auch andere KI-Unternehmen benachteiligt.

Auch einzelne Lizenzvereinbarungen, die Google, OpenAI und Perplexity mit ausgewählten Verlagen aushandeln, sind keine flächendeckende Option, um faire Bedingungen zu schaffen. Sie betreffen immer nur wenige Inhalteersteller.

Zudem ist die robots.txt-Datei von einigen Crawlern ignoriert worden. Auch mit ihr lässt sich keine technische Blockade einrichten, es ist die maschinenlesbare Form einer Aufforderung, ein Standard, an den sich lange alle hielten. Umso wichtiger, dass nun auch CDN-Anbieter wie Cloudflare dabei sind.

Die IAB dürfte ebenfalls wegen des sich verändernden Werbemarktes an einer Lösung interessiert sein. Das bekannte Problem der wegfallenden Klicks und damit fehlender Anzeigenplätze auf Webseiten, wenn Menschen nur noch KI-Zusammenfassungen und KI-Antworten lesen, betrifft auch sie. Selbst wenn Google, OpenAI und Co Werbung in ihre KI-Produkte integrieren, obliegt ihnen dann auch das dazugehörige Geschäft samt allen Bedingungen.

(emw)