Studie: Sprachmodelle wachsen nicht über sich hinaus
Manche Entwickler hofften bislang, dass Sprachmodelle Fähigkeiten erlenen, die über ihr Trainingspensum hinausgehen. Das hat sich als Trugschluss erwiesen.
Künstliche Intelligenz ist nicht so denkfähig, wie zunächst gedacht, legt eine Studie nahe.
(Bild: PHOTOCREO Michal Bednarek/Shutterstock.com)
Laut einem Forschungsteam der Technischen Universität (TU) Darmstadt und der University of Bath führt Skalierung von Großen Sprachmodellen (Large Language Models, LLM) nicht dazu, dass diese eigenständig Fähigkeiten entwickeln, die ihnen nicht antrainiert wurden. Die LLMs greifen stets auf kontextuelles Lernen zurück.
Die Forscherinnen und Forscher untersuchten emergente Fähigkeiten der LLMs, also unvorhergesehene und plötzliche Leistungssprünge der Modelle. Bisher deutete sich an, dass eine Skalierung zu einer besseren Leistung führte: Je größer das Modell wurde und je mehr Daten in das Training einflossen, umso mehr sprachbasierte Aufgaben konnten die Modelle lösen. "Das weckte zum einen die Hoffnung, dass eine weitere Skalierung die Modelle noch besser machen würde. Zum anderen kam aber auch die Sorge auf, dass diese Fähigkeiten gefährlich werden könnten, da sich die LLMs quasi verselbstständigen und der menschlichen Kontrolle womöglich entziehen", teilt die TU mit. Die LLMs seien jedoch weit entfernt von den Fähigkeiten von Menschen, sagen die Wissenschaftler.
Vier Sprachmodell-Familien mit insgesamt 20 Modellen untersucht
Für die Studie experimentierte das Team mit 20 Modellen und 22 Aufgaben in zwei Einstellungen. Zum Einsatz kamen die vier Modell-Familien GPT, T5, Falcon 2 und LLama. Die Wissenschaftler gingen von zwei Hypothesen aus: Alle zuvor beobachteten emergenten Fähigkeiten seien eine Folge von kontextuellem Lernen (in-context learning, ICL), also der Fähigkeit, anhand von wenigen Beispielen eine Aufgabe zu erfüllen. Die zweite Hypothese umfasste, dass die emergenten Fähigkeiten anweisungsabgestimmter LLMs eher auf eine Verbesserung der Anweisung hindeuten, was zu implizitem kontextuellen Lernen führt, statt dass dies ein Anzeichen emergente Fähigkeiten sei.
Durch die Ergebnisse der Untersuchung sehen die Wissenschaftler beide Hypothesen bestätigt. "Die Unterscheidung zwischen der Fähigkeit, Anweisungen zu befolgen, und der inhärenten Fähigkeit, ein Problem zu lösen, ist eine feine, aber wichtige Unterscheidung, die für die Methoden, die bei der Nutzung von LLMs eingesetzt werden, und die Probleme, die sie lösen sollen, von Bedeutung ist", schreiben die Autoren. Befolgt die KI etwa über einen Prompt Anweisungen, ohne selbst zu denken, passen die Ergebnisse zwar zur Aufgabe, ergeben aber auf einer logischen und vernünftigen Basis keinen Sinn. "Das spiegelt sich in dem bekannten Phänomen des 'Halluzinierens' wider, bei dem das LLM flüssigen, aber sachlich falschen Output produziert."
Anweisungen befolgen kein Zeichen von Intelligenz
"Die Fähigkeit, Anweisungen zu befolgen, impliziert nicht, dass man über Logik-Fähigkeiten verfügt, und, was noch wichtiger ist, sie impliziert nicht die Möglichkeit latenter, potenziell gefährlicher Fähigkeiten", so das Team. Die Wissenschaftler gehen davon aus, dass ihre Ergebnisse für alle Modelle gelten, die zu Halluzinationen neigen oder Prompt-Engineering erfordern.
Die Studie deutete darauf hin, dass die bisher als emergent interpretierten Fähigkeiten eher eine Kombination aus kontextbasiertem Lernen, Modellgedächtnis und sprachlichem Wissen sind. Das erkläre auch den Widerspruch, dass die KI-Fähigkeiten manchmal überragend und manchmal schlecht seien.
Ausschließen will das Team eine etwaige Bedrohung durch Künstliche Intelligenz dennoch nicht. "Wir zeigen vielmehr, dass die angebliche Entstehung komplexer Denkfähigkeiten, die mit bestimmten Bedrohungen verbunden sind, nicht durch Beweise gestützt wird und dass wir den Lernprozess von LLMs doch gut steuern können", sagt TU-Informatikprofessorin Iryna Gurevych, die die Studie mit Harish Tayyar Madabushi von der University of Bath in Großbritannien geleitet hat. Das Forschungsteam trage zu einem tieferen Verständnis der Fähigkeiten und Grenzen der LLMs bei. Das entmystifiziere Große Sprachmodelle und helfe, damit verbundene Sicherheitsbedenken zu zerstreuen und einen Rahmen für eine effizientere Nutzung zu schaffen.
(are)