Aktuell | Forschung | c't | heise magazine

KI-generierte Trainingsdaten treiben KI in den Wahnsinn

Der Trainingshunger großer generativer Modelle von ChatGPT bis Stable Diffusion führt dazu, dass auch synthetische Bilder und Texte in die Trainingsdaten künftiger KI-Versionen einfließen. Damit entfernen sich deren Ergebnisse aber von der Wirklichkeit.

Das Training generativer Modelle mit synthetisch erzeugten Bildern verstärkt Artefakte. Eine Schleife mit vollständig synthetischen Trainingsbildern zeigt schon nach wenigen Trainingszyklen auffällige Störungen etwa in Form kreuzschraffierter Muster.

Bild: Rice University

Die Größe von KI-Datenmodellen nimmt zu und damit auch der Bedarf an Trainingsmaterial für Deep-Learning-Prozesse. In dem Maße, in dem aber Entwickler beispielsweise von Bildgeneratoren fürs Training wiederum KI-generierte Bilder einsetzen, kommen ungewollte Effekte zum Vorschein. Wie ein Forscherteam um Richard Baraniuk an der Rice University in Houston, Texas, belegt hat (siehe ct.de/y1dt), sinken die Qualität und Vielfalt der erzeugten Bilder, wenn nicht in jeder Trainingsgeneration genügend echte Daten einfließen.

Durch synthetische Daten im Trainingsmaterial entstehe eine „autophage, das heißt selbst-verzehrende Schleife“, warnen die Autoren und sprechen in dem Fall von Model Autophagy Disorder (MAD). Es handelt sich um eine Art Echokammereffekt, in dem sich Fingerabdrücke der Generatorarchitektur schrittweise zu Bildartefakten und Verzerrungen verstärken.