Markt + Trends | KI und Data Science | iX

Synthetische Trainingsdaten können zu Modellkollaps führen

Das Training von Transformern mit synthetischen Daten führt laut einigen Studien nach mehreren Modellgenerationen zu sinnlosen und stark verzerrten Ergebnissen. Andere Untersuchungen deuten darauf hin, dass es hier auf die Datenstrategie ankommt.

Die Qualität der Ergebnisse von transformerbasierten KI-Modellen korreliert mit der Menge der Trainingsdaten und insbesondere mit hochwertigen Beispielen in diesen Daten. Daher nutzen Firmen wie Meta, OpenAI und Anthropic alles, was sie bekommen können, und scrapen etwa YouTube-Videos (OpenAI) oder setzen sich über die robots.txt von Websites hinweg (Anthropic). Mit der steigenden Ausgabequalität von GPT und Co. sind jedoch auch die von den Systemen selbst generierten Ergebnisse für das Training interessant geworden, insbesondere weil zu erwarten ist, dass das Internet als Quelle immer mehr KI-Daten enthalten wird.

Mehrere Studien aus dem letzten Jahr weisen darauf hin, dass Modelle durch KI-generierte Daten an Ausgabequalität einbüßen oder sogar komplett nutzlos werden – das ließ sich für Bild- und Sprachgeneratoren gleichermaßen beobachten. Nun legt eine aktuelle Studie („Is Model Collapse Inevitable?“ – siehe ix.de/zd7k) nahe, dass es eher auf die Samplingstrategie der Trainingsdaten ankommt: Ersetzt man die Trainingsdaten der nächsten Modellgenerationen mit synthetischen Daten des vorhergegangenen Modells, so lässt sich ein Verfall beobachten. Akkumuliert man die bisherigen Daten hingegeben mit neuen synthetischen Daten der aktuellen Modellgeneration, so bleiben die Modelle relativ stabil. Überprüft haben die Forscher den Vorgang an Transformern zur kausalen Sprachmodellierung, an Diffusionsmodellen zur Modellierung von Molekülen und an Variational-Auto-Encodern zur Bildgenerierung. Die Forscher schlussfolgern, dass der beobachtete Effekt weniger kritisch ist als bisher erwartet und sich abschwächen lässt.