Wie könnte ein Wahrheitsserum für große Sprachmodelle aussehen?
Bard, Bing Chat und Co. liefern spannende Ergebnisse. Doch es hapert mit ihrer Faktentreue. Wie dieses Problem zu lösen ist, verraten sie nicht.
(Bild: Erstellt mit Midjourney durch MIT Technology Review)
Warum faszinieren uns die Antworten von KI-befeuerten Suchmaschinen? Weil sie etwas liefern können, was die konventionelle Internetsuche nicht kann: Antworten aus Fundstücken zusammensetzen, die in Quelltexten auf verschiedenen Ebenen stecken und dabei auch den Kontext zu berücksichtigen. Denn Sprachmodelle wie ChatGPT und Bard verfügen über die gut entwickelte Fähigkeit, fehlende Fakten eloquent zu ergänzen – allerdings sind die bisweilen frei erfunden. Die Richtigkeit von Aussagen großer Sprachmodelle automatisiert zu überprüfen, ist spätestens seit der Einführung von generativer KI für Google, Bing und Co. zu einem drängenden Problem geworden.
Nicht ohne Grund warnen selbst die Betreiber KI-gestützter Suchmaschinen davor, die Ergebnisse ohne Prüfung zu glauben. Doch das kann ja bestenfalls eine Übergangslösung sein. Es ist davon auszugehen, dass hinter den Kulissen intensiv an Methoden gearbeitet wird, die Faktentreue dieser Systeme zu verbessern.
Einfach mal die KI fragen
Können Bing Chat, Bard oder You.com vielleicht selbst helfen, mehr über die dafür verwendeten Methoden zu lernen? Die Antwort darauf ist leider recht ernüchternd. Microsofts KI-Suche ist auch nach hartnäckigen Nachfragen nicht dazu zu bewegen, mehr als allgemeine Phrasen von sich zu geben. „Bing verwendet maschinelles Lernen, um sicherzustellen, dass die Antworten auf Ihre Fragen so genau wie möglich sind. Beim maschinellen Lernen bauen Algorithmen ein statistisches Modell auf, das auf Beispielen basiert. Das Modell wird dann verwendet, um Vorhersagen zu treffen oder Entscheidungen zu treffen. Bing verwendet auch künstliche Intelligenz und menschliche Überprüfung, um sicherzustellen, dass die Antworten auf Ihre Fragen so genau wie möglich sind.“
Auf die Nachfrage, welche Methoden konkret zum Einsatz kommen, antwortet die Maschine: „Künstliche Intelligenz bezieht sich auf die Fähigkeit von Maschinen, menschenähnliche Aufgaben auszuführen, wie z.B. Spracherkennung und Bilderkennung. Bing verwendet auch maschinelles Lernen und menschliche Überprüfung, um sicherzustellen, dass die Antworten auf Ihre Fragen so genau wie möglich sind.“ Man dreht sich im Kreis.
Bard, der KI-Chatbot von Google, ist ein wenig auskunftsfreudiger. Das Modell antwortet auf die Frage nach seiner Arbeitsweise, es gebe „eine Reihe von Algorithmen“, die eingesetzt werden könnten: „Text similarity algorithms, „Information retrieval (IR) algorithms“ (die mit einer Datenbank verifizierter Fakten arbeiten) und „Machine learning algorithms“. Auf Englisch: „The model is trained on a dataset of questions and answers, where some of the answers are correct and some are incorrect."
You.com geht in eine ähnliche Richtung: „Um sicherzustellen, dass die generierte Antwort durch die in den Snippets enthaltenen Fakten gestützt wird, verlasse ich mich auf Algorithmen zur Verarbeitung natürlicher Sprache und zum maschinellen Lernen, die relevante Informationen aus den bereitgestellten Snippets analysieren und extrahieren.“ Das System versuche, die Informationen in den Snippets zu analysieren und zu synthetisieren, um eine Antwort zu geben, die für die gestellte Frage relevant und genau ist.
Fehlerquote 20 bis 30 Prozent
Mit Beispiel-Datensätzen funktionieren die Verfahren in der Regel ganz gut – 70, 80 oder auch 90 Prozent Genauigkeit dürften allerdings für eine Chatbot-Suchmaschine bedeuten, dass sie immer noch sehr viel Unfug produziert.
Das ist zwar nicht besonders detailliert, deckt sich aber mit Suchergebnissen aus der wissenschaftlichen Literatur. Daraus ist bekannt, dass die Methoden, die zum Einsatz kommen, ganz ähnlich funktionieren wie bei der automatisierten Überprüfung von Fake News. Das sagt Andreas Vlachos von der University of Cambridge, der unter anderem die Fake News Challenge mit ins Leben gerufen hat. Er veröffentlichte 2022 einen umfangreichen Übersichtsartikel zum automatisierten Fact Checking.
Demnach besteht eine der Standard-Methoden auf diesem Gebiet darin, aus der zu prüfenden Aussage – in dem Fall die Antwort einer chatbasierten Suchmaschine – zunächst einmal die Fakten zu extrahieren, die überprüft werden sollen. Dann erzeugt man dazu passende Suchanfragen. Viele Arbeitsgruppen nutzen dafür die Wikipedia-API (Extraktion und Abfrage aus Datenbanken sind zwei Unterprobleme, die ihrerseits intensiv bearbeitet werden). Aus den extrahierten Fakten und der Behauptung, die in Vektoren übersetzt werden, berechnet die Software dann etwa das Skalarprodukt als Maß für die Verifizierbarkeit – je kleiner das Maß, desto schlechter wird die Behauptung belegt.
Andere Arbeitsgruppen verwenden ihrerseits Modelle, die sie darauf trainieren, richtige und falsche Aussagen voneinander zu trennen. Beim Training kommen dafür speziell erzeugte Datensätze wie FEVER zum Einsatz, die eine große Zahl nachweislich falscher Aussagen enthalten. Für Spezialfälle, wie etwa Falschaussagen zu Covid ließen sich so bis zu 90 Prozent aller Fake-Aussagen entdecken – allerdings immer nur innerhalb einer speziellen Textkategorie.
Sprachmodell prüft Sprachmodell
Große Sprachmodelle zur Prüfung großer Sprachmodelle einzusetzen, wird erst seit einigen Jahren vermehrt diskutiert. So trainierten Angela Fan von Meta AI und Kollegen beispielsweise ein Sprachmodell darauf, aus extrahierten Behauptungen Fragen zu formulieren, die Fragen per Internetsuche zu recherchieren und aus den Ergebnissen der Suche wiederum Antworten zu formulieren. Das System war allerdings nicht als vollautomatischer Factchecker gedacht. Vielmehr wollten Fan und Kollegen zeigen, dass eine automatisch erstellte Zusammenfassung in Form von Fragen und Antworten menschlichen Factcheckern hilft, Texte schneller und genauer zu beurteilen.
Forschende der Tel Aviv University, bei Google Deepmind und Google Research haben kürzlich eine neue Methode des Fact Checkings für große Sprachmodelle vorgestellt. Das Besondere dabei: Die von Roi Cohen und seinem Team entwickelte Methode kommt ohne externe Wissensbasis wie beispielsweise Wikipedia aus. Stattdessen weisen die Forschenden einem Sprachmodell die Rolle eines „Examiners“ (Prüfer) zu, der dem „Exanimee“ (Prüfling) Fragen zu seiner Aussage stellt. Wenn bei den Antworten auf diese Fragen offensichtliche Widersprüche auftreten, wird die Aussage zurückgewiesen. Technische Einzelheiten beschreiben die Forschenden in einem Preprint-Paper.
Der Ansatz von Cohen und Kollegen funktioniert halb automatisch: Die Forschenden ließen ein Sprachmodell die zu prüfende Aussage formulieren. In einem zweiten Chat-Dialog wiesen sie demselben oder einem anderen Sprachmodell dann die Rolle des Fragenden zu („Es ist Deine Aufgabe, die Korrektheit einer Aussage zu prüfen … Damit Du das kannst, kannst Du Fragen zu der Aussage stellen“) – die dann wieder zum ersten Sprachmodell übertragen wurden. In dem Experiment waren bis zu fünf Nachfragen erlaubt, dann musste der Befrager urteilen, ob er die Aussage für korrekt hielt. Mit ihrem „Kreuzverhör-Ansatz“ erreichten Cohen und Kollegen in den besten Fällen eine Genauigkeit von etwa 80 Prozent – erwartungsgemäß waren die Ergebnisse am besten, wenn Befrager und Befragter auf die gleichen Modelle zugriffen.
(bsc)