Meta FAIR: KI-Zwilling für menschliche Neuronen

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

Don’t show this again.

Wie reagiert das Gehirn auf äußere Reize: Damit beschäftigen sich Wissenschaftler aus Metas Pariser FAIR Team. Sie haben nun TRIBE v2 veröffentlicht. Ein Modell, das Vorhersagen treffen kann, wie das menschliche Gehirn auf Bilder, Videos, Podcasts und Texte reagiert. Das ermöglicht weitere Forschung, die auf dem Modell aufbauen kann, für die jedoch zumindest in einem ersten Schritt keine Probanden gebraucht werden.

TRIBE steht für TRImodal Brain Encoder. Das Modell beschreibt Meta auch als „digitalen Zwilling menschlicher neuronaler Aktivität“. Es wurde mit mehr als 700 Personen trainiert, durch die mehr als 1115 Stunden Trainingsmaterialien zusammenkamen. Dabei lernt TRIBE v2 in einer ähnlichen Form wie gängige KI-Basismodelle. Es geht aber eben um Wahrscheinlichkeiten, wie das menschliche Gehirn funktioniert. Abgebildet wird das durch bildgebende Verfahren, die den Blutfluss und Sauerstoffgehalt verschiedener Hirnareale sichtbar machen – konkret funktionelle Magnetresonanztomografie (fMRT).

Genutzt wird kein von Grund auf neues Modell, stattdessen werden Metas bekannte Modelle V-Jepa2, W2vec-Bert und Llama 3.2 kombiniert und weiterführend trainiert. V-Jepa2 ist für die Verarbeitung voon Videos zuständig, w2vec-Bert für Audio und Llama 3.2 übernimmt den Text. Das TRI im Namen bezieht sich auf diese drei Modelle und Aufgaben.

Laut des Papers ist der Ansatz des Modells vor allem spannend, weil er das gesamte Gehirn zugleich im Blick hat, statt einzelne Bereiche zu untersuchen. Dabei hat das Meta-FAIR-Team es geschafft, eine einzige Architektur für ein breites Spektrum an fMRT-Reaktionen bereitzustellen.

Zudem könne das Modell besser generalisieren. Meta schreibt, TRIBE v2 sei „besonders schnell, besonders genau und habe eine 70-fach höhere Auflösung bei der Simulation von Gehirnaktivitäten“ im Vergleich zum Vorgänger TRIBE v1. Die erste Version wurde bereits mit dem 1. Platz des Algonauts 2025 ausgezeichnet – ein Wettbewerb des Algonauts Project. Bei der Simulation geht es darum, weitere Forschung betreiben zu können, für die zunächst keine Probanden gebraucht werden, weil man zunächst das KI-Modell nutzen kann.

Wie üblich bei Metas FAIR-Team werden das Modell, die Codebasis sowie Forschungspapier und Demo veröffentlicht – unter CC BY-NC-Lizenz. Forschende können also bereits darauf zugreifen.

(emw)