KI: Kollaps droht wegen KI-generierter Trainingsdaten

Inhaltsverzeichnis

KI-Modelle könnten an sich selbst ersticken. Sie könnten völlig dysfunktional werden, wenn sie mit Daten gefüttert werden, die selbst KI-generiert sind. Dieses Szenario spielten Forscher der Rice Universität in Houston, Texas, durch. Sie nutzten für ihre Studie "Self-Consuming Generative Models Go MAD" [PDF] generative Bilderzeugung, die das Problem nachvollziehbar visualisieren kann. Die Studie konzentriert sich auf generative Bildmodelle wie das populäre DALL·E 3, Midjourney und Stable Diffusion. Die Forscher wiesen in der Studie nach, dass die generierten Bilder nach einigen Iterationen der zugrundeliegenden Modelle schlechter werden, wenn die KI-generierten Bilder selbst zum Training neuer KI-Generationen benutzt werden.

Richard Baraniuk, Professor Elektrotechnik und Computertechnik an der Rice-Universät führt aus: "Die Probleme entstehen, wenn dieses Training mit synthetischen Daten immer wieder wiederholt wird und es eine Art Feedbackschleife bildet. Das bezeichen wir als autophagische oder selbstkonsumierende Schleife". Seine Forschungsgruppe hat an solchen Feedbackschleifen gearbeitet. Baraniuk: "Die schlechte Nachricht ist, dass schon nach wenigen Generationen eines solchen Trainings die neuen Modelle irreparabel beschädigt werden können. Dies wurde von einigen als Modellkollaps bezeichnet, etwa von Kollegen im Kontext großer Sprachmodelle (LLMs). Wir finden jedoch den Begriff 'Model Autophagy Disorder' (MAD) passender, in Anlehnung an den Rinderwahnsinn."

Der Rinderwahnsinn ist eine für Kühe tödliche neurodegenerative Krankheit, die ein menschliches Äquivalent hat, das durch den Verzehr von infiziertem Fleisch verursacht wird. Die Krankheit bekam in den Achtzigern große Aufmerksamkeit, als sich herausstellte, dass Kühe mit den verarbeiteten Überresten ihrer geschlachteten Artgenossen gefüttert wurden – daher der Begriff "Autophagie", vom griechischen "auto", was "selbst" bedeutet, und "phagy", das für "essen" steht.

Drei Arten des Datenwahnsinns

Der Datenhunger zum Trainieren neuer Modelle der künstlichen Intelligenz (KI) wie OpenAIs GPT-4 oder Stability AIs Stable Diffusion ist immens. Es ist absehbar, dass KIs nach und nach immer größere Mengen von Texten, Bildern und anderen Inhalten in ihr Training integrieren, die ihrerseits nicht menschengemacht sind. Sie werden also, dem Bild des Rinderwahnsinns folgend, mit ihren eigenen Daten gefüttert.

Die Forscher der Rice-Universität untersuchten drei Szenarien solcher selbst konsumierenden Trainingsschleifen, die eine realistische Darstellung davon bieten sollen, wie reale und synthetische Daten in Trainingsdatensätze für generative Modelle kombiniert werden.

In der vollsynthetische Schleife wurden aufeinanderfolgende Generationen eines generativen Modells vollständig mit einer synthetischen Datendiät gefüttert, die aus den Ausgaben früherer Generationen entnommen wurde. In der synthetischen Verstärkungsschleife hingegen umfasste der Trainingsdatensatz für jede Generation jeweils eine Kombination aus synthetischen Daten aus früheren Generationen und einem festen Satz realer Trainingsdaten. Im dritten Szenario, der frischen Datenschleife, erhielten die neuen Modelle zum Training jeweils eine Mischung aus synthetischen Daten aus früheren Generationen und einem frischen Satz realer Trainingsdaten.

Fortschreitende Iterationen der Schleifen zeigten, dass die Modelle im Laufe der Zeit zunehmend verzerrte Bilder erzeugten, und zwar umso stärker, je weniger sie frische Daten fürs Training erhielten. Vergleicht man die aufeinanderfolgenden Generationen von Bilddatensätzen, erkennt man die fortschreitende Verarmung: Bilder von Gesichtern werden zunehmend von gitterartigen Narben durchzogen – was die Autoren als "generative Artefakte" bezeichnen – oder sie sehen immer mehr wie die gleiche Person aus. Datensätze, die aus Zahlen bestehen, verwandeln sich in unentzifferbare Kritzeleien.

Rosinenpickerei

Das Problem verschärft sich auch durch das menschliche Handeln selbst. Bilder von Pflanzen etwa sind vorwiegend Blumen, fotografierte Menschen lächeln eher als im normalen Leben, Urlaubsbilder in den Bergen zeigen meist Sonne und Schnee. Beim Training der KI mit solchen Daten könnte diese zum Schluss kommen, dass die meisten Pflanzen Blumen sind – was nicht der Fall ist. Sie könnte annehmen, dass Menschen viel lächeln – was nicht der Fall ist – und dass es in den Bergen immer blauen Himmel gibt. Nach einigen Modellgenerationen ist es KI-Generatoren nicht mehr möglich, etwa Weizenhalme, weinende Kinder oder einen Regenschauer beim Bergwandern darzustellen.

So wie sich der Genpool durch das Aussterben von Tier- und Pflanzengattungen verkleinert, schrumpft auch für KI-Generatoren das Angebot dessen, was sie selbst generieren kann.

Transparente Kennzeichnung wichtig

KI-Entwickler haben also nicht mehr bloß das Problem, welche Daten sie überhaupt verwenden dürfen. Der bequeme Weg, KI-generierte Daten fürs Training zu verwenden, erscheint nach der Studie wie ein Selbstmord des Geschäftsmodells auf Raten. Schon aus eigenem Interesse müsste KI-Entwicklern daran gelegen sein, keine KI-Daten zum Training künftiger Modelle zu benutzen, damit ihre KI-Generatoren längerfristig weiter funktionieren. Tatsächlich müssten sich Unternehmen dazu auf Standards einigen, was jedoch nicht in Sicht ist. Mindestens eine Kennzeichnung der mithilfe von KI-Werkzeugen generierten Inhalte im Netz ist offenbar unerlässlich, nicht nur für Verbraucher, sondern auch für die Entwickler selbst.

Bereits jetzt sind die zum Training verfügbaren Daten so knapp, dass längst KI-generierte Inhalte dafür verwendet werden – mit einem ansteigenden Kontaminationsrisiko für den "Datenrinderwahnsinn". Wenn KI-Inhalte stets gekennzeichnet wären, könnten Firmen sie zum Schutz ihrer neuen KI-Generatormodelle beim Training ausschließen. Dann allerdings müssen die Firmen ihren Datenhunger anders stillen. Sie müssten dann wieder auf ausschließlich von Menschen gemachte Inhalte zurückgreifen und auch die von ihnen womöglich KI-gestützt produzierten Inhalte besser als solche erkennen. Vor diesem Hintergrund stellt sich die Entlohnungsfrage für die Verwendung solcher Daten zum Trainieren neu: Offensichtlich werden menschengemachte Inhalte wertvoll bleiben.

(mil)