OpenAI Paper: Halluzinationen offenbar unumgänglich
Große Sprachmodelle und KI-Chatbots, die nicht halluzinieren? Das hält selbst OpenAI für unmöglich. Aber es gibt einen Ausweg.
(Bild: Novikov Aleksey/Shutterstock.com)
In einem neuen, wissenschaftlichen Paper, das OpenAI veröffentlicht hat, geht es um Halluzinationen. Das sind falsche Informationen und Zusammenhänge, die Large Language Models (LLMs) und damit auch KI-Chatbots ausgeben. Alle KI-Unternehmen arbeiten daran, Halluzinationen möglichst gering zu halten. Sie ganz auszuschalten, scheint hingegen unmöglich. Das schreibt nun auch OpenAI selbst.
Das Paper wird von OpenAI in einem Blogbeitrag zusammengefasst. Darin heißt es, Halluzinationen ließen sich nicht umgehen. "Rechtschreibung und Klammern folgen konsistenten Mustern, so dass Fehler in diesem Bereich mit zunehmender Größe verschwinden." Aber willkürliche, selten vorkommende Fakten ließen sich nicht anhand von Mustern vorhersagen und führen so zu Halluzinationen. Als Beispiel nennt OpenAI Geburtstage, die sich nicht vorhersagen lassen und die auch nicht an irgendetwas erkennbar sind. Sie sind zufällig. KI kann nicht anhand von Zufällen lernen.
KI-Modelle wollen belohnt werden
Nicht nur das: KI-Modelle sind zudem bestrebt, eine Antwort zu geben. Die Autoren vergleichen das mit einem Multiple-Choice-Test. Wählt man eine Antwort aus, obwohl man keine Ahnung hat, was richtig ist, erhöht sich die Chance, richtig zu liegen. So handeln auch LLMs – sie geben lieber irgendeine Antwort als keine.
Videos by heise
Eine Möglichkeit, Halluzinationen zu verringern, ist, falsche Antworten negativ zu bewerten, schlagen die Autoren vor. Nicht gegebene Antworten hingegen könnten zumindest quasi Teilpunkte bekommen, um dieses blinde Raten zu beenden. Auch Zufallstreffer dürften nicht mehr belohnt werden. Das ist jedoch Grundlage der Modelle – sie lernen durch Belohnung. Reasoning-Prozesse, bei denen die Modelle ihre Antworten begründen, reduzieren Halluzinationen immerhin. Dass sie in nächster Zeit komplett verschwinden, glaubt jedoch auch OpenAI nicht. Man arbeite daran, sie weiter zu reduzieren.
"Die Genauigkeit wird niemals 100 Prozent erreichen, da unabhängig von der Modellgröße, den Such- und Schlussfolgerungsfähigkeiten einige Fragen der realen Welt von Natur aus nicht beantwortbar sind." Aber: Sprachmodelle sollten sich zurückhalten können: Keine Antworten statt Halluzinationen sind möglich.
(emw)
