Seite 2: "Wir erwarten nicht, dass sie so plappern wie Menschen"

Inhaltsverzeichnis

Wie der Name schon sagt, bestehen große Sprachmodelle aus riesigen neuronalen Netzen mit einer großen Anzahl von Verbindungen. Aber im Vergleich zum Gehirn sind sie weiter winzig. "Unsere Gehirne haben 100 Billionen Verbindungen", sagt Hinton. "Große Sprachmodelle haben bis zu einer halben Billion, höchstens eine Billion." Doch GPT-4 wisse Hunderte Male mehr als jeder Mensch. "Vielleicht hat es also tatsächlich einen viel besseren Lernalgorithmus als wir." Verglichen mit Gehirnen gelten neuronale Netze weithin als eher ineffizient beim Lernen: Es kostet Unmengen an Daten und Energie, sie zu trainieren. Gehirne hingegen nehmen neue Ideen und Fähigkeiten schnell auf und verbrauchen dabei nur einen Bruchteil der Energie.

Magisches Gehirn nun auch im Computer?

"Die Menschen schienen eine Art Magie zu besitzen", sagt Hinton. "Doch sobald man eines dieser großen Sprachmodelle nimmt und ihm etwas Neues beibringt, fällt dieses Argument plötzlich in sich zusammen. Es kann extrem schnell neue Aufgaben lernen." Hinton spricht vom "few-shot learning", bei dem vortrainierte neuronale Netze, wie z. B. große Sprachmodelle, mit nur wenigen Beispielen auf etwas Neues trainiert werden können. So stellte er beispielsweise fest, dass einige dieser LLMs eine Reihe von logischen Aussagen zu einem Argument zusammenfügen können, obwohl sie nie direkt darauf trainiert wurden. Vergleicht man ein vortrainiertes großes Sprachmodell mit einem Menschen in Bezug auf die Lerngeschwindigkeit bei einer solchen Aufgabe, so verschwinde der Vorsprung des Menschen.

Und was ist mit der Tatsache, dass große Sprachmodelle dazu neigen, manche Dinge einfach zu erfinden? Diese von KI-Forschern als "Halluzinationen" bezeichneten Probleme (Hinton bevorzugt den Begriff "Konfabulationen", da dies der korrekte Begriff in der Psychologie sei) werden oft als fatale Schwachstelle der LLMs angesehen. Die Tendenz, Blödsinn zu erzeugen, der dabei auch noch gut klingt, mache Chatbots unglaubwürdig und zeige, so wird argumentiert, dass diese Modelle nicht wirklich verstünden, was sie sagen.

Auch darauf hat Hinton eine Antwort: Bullshitting sei ein Feature, kein Bug. "Menschen konfabulieren immer", sagt er. Halbwahrheiten und falsch erinnerte Details seien Kennzeichen der menschlichen Konversation: "Konfabulation ist ein Merkmal des menschlichen Gedächtnisses." Diese Modelle machten damit, sagt Hinton, etwas genauso wie Menschen. Der Unterschied bestehe darin, dass Menschen normalerweise mehr oder weniger korrekt konfabulieren. Das Erfinden sei nicht das Problem. Computer brauchen einfach ein bisschen mehr Übung.

Außerdem erwarten wir derzeit noch von Computern, dass sie entweder richtig oder falsch liegen – und nicht irgendetwas dazwischen. "Wir erwarten nicht, dass sie so plappern wie Menschen", sagt Hinton. "Wenn ein Computer das tut, denken wir, dass er einen Fehler gemacht hat." Doch bei Menschen wisse man, dass das deren Art sei, zu arbeiten. "Das Problem ist, dass die meisten Menschen ein hoffnungslos falsches Bild davon haben, wie Menschen tatsächlich arbeiten."

Kaffee, Toast, Auto fahren

Natürlich können Gehirne immer noch viele Dinge besser als Computer, zumindest bislang: Auto fahren, laufen lernen, sich die Zukunft vorstellen, etwa. Und das alles mit einer Tasse Kaffee und einer Scheibe Toast als Energiequelle. "Als sich die biologische Intelligenz entwickelte, hatte sie noch keinen Zugang zu Kernkraftwerken", sagt Hinton. Damit will er sagen, wie neuronale Netze der Biologie beim Lernen überlegen sein könnten, wenn wir einmal bereit sind, die höheren Kosten ihrer Datenverarbeitung zu tragen. (Was wir aktuell tun, obwohl es viele ungeklärte Fragen etwa beim CO₂-Fußabdruck gibt.)

Lernen ist aber nur der erste Teil von Hintons Argumentation. Der zweite ist das Kommunizieren. "Wenn Sie oder ich etwas lernen und dieses Wissen an jemand anderen weitergeben wollen, können wir ihm nicht einfach eine Kopie davon schicken", sagt er. "Aber ich kann 10.000 neuronale Netze haben, von denen jedes seine eigenen Erfahrungen hat, und jedes von ihnen kann das, was es gelernt hat, sofort weitergeben. Das ist ein Riesenunterschied. Es ist, als gäbe es 10.000 von uns, und sobald eine Person etwas lernt, wissen es alle".

Worauf läuft das alles hinaus? Hinton glaubt mittlerweile, dass es zwei Arten von Intelligenz auf der Welt gibt: Gehirne von Tieren und neuronale Netze. "Es ist eine völlig andere Form der Intelligenz", sagt er. "Eine neue und bessere Form der Intelligenz." Das ist durchaus eine gewaltige Behauptung. Aber KI ist ein Feld, das polarisiert. Es wäre also ein Leichtes, Leute zu finden, die Hinton angesichts solcher Aussagen auslachen würden – und genauso leicht andere, die zustimmend nicken.

Die Menschen sind auch geteilter Meinung darüber, ob die Folgen dieser neuen Form von Intelligenz, wenn sie denn existiert, vorteilhaft oder apokalyptisch sein werden. "Ob man glaubt, dass eine solche Superintelligenz gut oder schlecht sein wird, hängt stark davon ab, ob man Optimist oder Pessimist ist", sagt er. "Wenn man die Leute bittet, das Risiko abzuschätzen, ob etwas Schlimmes passiert – etwa wie hoch die Wahrscheinlichkeit ist, dass jemand in der Familie wirklich krank wird oder von einem Auto angefahren wird –, gibt der Optimist eine Wahrscheinlichkeit von 5 Prozent an und der Pessimist eine von 100." Ein leicht depressiver Mensch werde sagen, dass die Wahrscheinlichkeit bei vielleicht 40 Prozent liegt. "Und damit hat er in der Regel recht."