Harry Potter und 1984: Das steht auf ChatGPTs heimlicher Leseliste

Large Language Models (LLMs), also große Sprachmodelle, benötigen große Mengen an Trainingsdaten – und welche das sind, hat großen Einfluss darauf, wie gut der generierte Text letztlich ist. Kein Wunder also, dass kommerzielle Anbieter von LLMs ein großes Geheimnis daraus machen, welche Inhalte in ihnen stecken.

So macht OpenAI zu seinem beliebten Modell GPT-4, das unter anderem in der aktuellen Version von ChatGPT Plus steckt, nur äußerst vage Angaben. Gemunkelt wird unter anderem, dass die ganze Wikipedia in mehreren Sprachen, zahllose Reddit- und Foren-Postings sowie viele gemeinfreie Werke der Weltliteratur in dem LLM stecken. Es könnte aber noch viel mehr sein – oder etwas ganz anderes.

Bücherarchäologie mit sprachwissenschaftlichem Test

Ein Team aus Forschern der University of California in Berkeley hat sich nun aufgemacht, etwas mehr Licht ins Dunkel zu bringen und sich dabei vor allem auf Bücher konzentriert. Dabei hackte die Gruppe von David Bamman nicht etwa OpenAIs Server, um an die Trainingsdaten zu gelangen. Stattdessen bedienten sie sich in ihrem Preprint (Überschrift: "Eine Archäologie der Bücher, die ChatGPT/GPT-4 kennt") einfach dem Interface des Sprachgenerators selbst mithilfe geschickter Prompts.

Dabei kamen Methoden aus der Sprachwissenschaft zum Einsatz, eine Art Quizspiel, bei dem Wörter aus einem Text weggelassen werden, um zu überprüfen, ob das System den Originaltext kennt. Wie sich zeigte, hat GPT-4 offenbar nicht nur Public-Domain-Werke konsumiert – wenn auch die besonders gut. Tatsächlich kennt das LLM auch diverse bekannte Bücher, die noch lange unter urheberrechtlichem Vorbehalt stehen. Die am genauesten bekannten Titel stammen wie erwartet von der Public-Domain-Liste (siehe Tabelle).

Harry Potter und "Fifty Shades of Grey"

Doch das war nicht alles. Besonders genau "wiedererkannt" hat GPT-4 auch den ersten Teil der Harry-Potter-Saga vom J.K. Rowling – mit einem von den UC-Berkeley-Forschern ermittelten Genauigkeitswert von 76 Prozent. Danach folgen – ausgerechnet – die Dystopie "1984" von Orwell (57 Prozent), "The Fellowship of the Ring" (51 Prozent) von Tolkien, der Erotikroman "Fifty Shades of Grey" (49 Prozent), der Young-Adult-Reißer "Hunger Games" (48 Prozent), die Parabel "Lord of the Flies" (43 Prozent) und schließlich "Per Anhalter durch die Galaxis" (43 Prozent). Alle Titel tiefer auf der Liste, etwa "Things Fall Apart", "Fahrenheit 451" oder "Game of Thrones" haben eine schlechtere Quote von 30 und weniger Prozent. Das heißt aber nicht, dass GPT-4 sie gar nicht kennen würde.

"Wir haben herausgefunden, dass die OpenAI-Modelle eine breite Sammlung von urheberrechtlich geschütztem Material gelernt haben", so die kalifornischen Forscher. Grund sei offenbar die Häufigkeit, mit der die Bücher im Netz zu finden sind. Vielfach sind sie dort wohl auch als Schwarzkopie vorhanden, deren Lektüre OpenAI seinem Sprachmodell nicht austreiben konnte. Die UC-Berkeley-Gruppe fordert offenere Modelle, bei denen man auch leichter kontrollieren kann, ob ein LLM dazu neigt, Inhalte, die es gespeichert hat, einfach nur wiederzukäuen. Und was macht OpenAI? Sagt zu den Trainingsdaten leider immer noch nichts.

(bsc)