GPT: Hirnströme verraten, was Probanden lesen und gucken

Inhaltsverzeichnis

US-amerikanischen Forschern ist es gelungen, mit nicht-invasiver Technik in der Hirnaktivität von Probanden zu erkennen, was für einen Text sie gerade hören oder sich im Stillen vorstellen. Auch der Inhalt eines Stummfilms, den sich die Versuchspersonen ansahen, wurde von dem System in Textform wiedergegeben.

Das Kunststück gelang mithilfe funktioneller Magnetresonanztomographie (fMRT), wie das von Alexander G. Huth an der University of Texas at Austin geleitete Forschungsteam in der aktuellen Ausgabe von Nature Neuroscience berichtet. „Diese Methode ist nicht gerade die erste Wahl, wenn es darum geht, die Hirnaktivität zu messen“, erklärte Huth dazu bei einer Pressekonferenz. Das Verfahren biete zwar eine hohe räumliche Auflösung, sei aber sehr träge – anders als etwa die Elektroenzephalografie (EEG) mit einer zeitlichen Auflösung im Millisekundenbereich.

Eigentlich sind fMRTs zu langsam

Die fMRT misst die Aktivität der Neuronen nicht direkt, sondern den dadurch beeinflussten Blutfluss: Das Feuern der Neuronen braucht Energie, was sich auf den Sauerstoffgehalt des Blutes auswirkt. Ein neuronaler Impuls lässt dieses als „blood-oxygen-level-dependent“ (BOLD) bezeichnete Signal aber über ungefähr zehn Sekunden ansteigen und wieder fallen. „Ein Gehirn auf diese Weise zu beobachten ist ungefähr so, als wollten Sie die Aktivitäten in einer Stadt allein aus der Lichtverteilung ablesen“, so Huth. Der Gedanke, aus diesen Signalen Sprache dekodieren zu wollen, wäre noch vor zwanzig Jahren jedem Neurowissenschaftler geradezu lächerlich erschienen.

In zehn Sekunden spricht ein Mensch auf Englisch in der Regel mehr als zwanzig Worte. Aus einer fMRT-Aufnahme des Gehirns lassen sich daher keine einzelnen Worte dekodieren. Das können andere Systeme besser, die sich auf die Motorik des Sprechens oder auch des Schreibens mit der Hand stützen und aus der Hirnaktivität etwa die Bewegungen von Zunge und Lippen rekonstruieren. Diese Verfahren tun sich jedoch schwer, kontinuierlichen Text wiederzugeben.

GPT erkennt etwas "Tieferes" als Sprache

Das jetzt vorgestellte System erfasse dagegen „etwas Tieferes als Sprache“, so Huth. Es arbeite auf der Ebene der Semantik und der Bedeutung: „Wir können nicht die exakten Worte erkennen, wohl aber die leitende Idee, denn die ändert sich langsamer.“ Sie seien „geschockt“ gewesen, wie gut das funktionierte. Mit entscheidend für den Erfolg seien die großen Fortschritte bei Sprachmodellen gewesen, die in den letzten fünfeinhalb Jahren erzielt wurden. So nutzen die texanischen Forscher auch GPT – „die ursprüngliche Version, nicht die aktuelle“, wie Huth hervorhebt.

Erprobt wurde das System mit drei Probanden, die sich zunächst insgesamt jeweils 16 Stunden lang Geschichten anhörten, während ihre Hirnaktivität mit einem MRT-Scanner aufgezeichnet wurde. Die ungefähr zehn Minuten langen Geschichten stammten größtenteils von der Storytelling-Website The Moth. Sie seien unterhaltsam und deckten zugleich eine breite Vielfalt von Themen ab, betont Huth: „Wenn Sie gute fMRT-Daten haben wollen, dürfen Sie die Versuchspersonen nicht langweilen.“

Kooperation der Versuchspersonen notwendig

Nach diesem Training wurde dann getestet, wie gut das System den Inhalt von bislang unbekannten Texten aus den beim Zuhören aufgezeichneten fMRT-Daten dekodieren konnte. Das gelang nicht nur bei gehörten Texten, sondern auch bei solchen, die sich die Probanden nur vorstellten. Auch der Inhalt einer kurzen Stummfilmsequenz, die sie sich betrachteten, wurde von dem System recht gut erfasst.

Den Forschern ist klar, dass ihre Erkenntnisse als beängstigend und bedrohlich empfunden werden können. Sie betonen daher, dass diese Dekodierung der Hirnaktivität ohne Kooperation der Versuchspersonen nicht funktioniert. Das gilt zum einen für das aufwendige Training, aber auch für die Dekodierung selbst: Wenn die Probanden einer Geschichte zuhörten und sich gleichzeitig gedanklich ablenkten – etwa mit Rechenaufgaben oder der Zuordnung von Tiernamen – versagte das System. Auch die Anwendung eines für eine Person trainierten Systems auf ein anderes Individuum gelingt nicht. Die Methode lässt sich nicht generalisieren.

Kommunikationshilfe für Gelähmte

Huth und sein Team verstecken sich aber nicht hinter diesem derzeitigen Forschungsstand, der sich natürlich ändern kann. Es ist nicht gesagt, dass für das Dekodieren von Sprache aus der Hirnaktivität auch zukünftig ein mehr als sieben Tonnen schwerer MRT-Scanner und mehrstündiges, aufwendiges Training erforderlich sein müssen. Natürlich könne die Technologie missbraucht werden, etwa als Lügendetektor, erklärte Teammitglied Jerry Tang und drängte darauf, diese Fragen „proaktiv“ zu adressieren.

Inwieweit sich die Technologie als Kommunikationshilfe für schwer gelähmte Patienten dienen kann, die sich über Sprache oder Gestik sonst nicht mehr mitteilen können, ist eine weitere offene Frage. Dafür müsste es mit den Feinheiten der Sprache, bei denen kleine Änderungen den Sinn des Gesagten dramatisch ändern können, besser zurechtkommen. Die Kombination mit Verfahren, die auf die Motorik des Sprechens abzielen, könnte hier helfen, schreiben die Forscher in ihrer Studie. Außerdem wollen sie zukünftig Closed-Loop-Experimente durchführen, bei denen die Probanden sehen können, wie das System ihre Gedanken dekodiert hat. Das gebe den Nutzern die Möglichkeit, sich an das System anzupassen und auf diese Weise möglicherweise auch die Sprachausgabe zu optimieren. (jow)