"Erschreckend, wenn man das sieht": KI-Pionier Geoffrey Hinton über KI-Modelle

Inhaltsverzeichnis

Geoffrey Hinton wohnt in einem Haus in einer hübschen Straße im Norden Londons. Das Gespräch mit MIT Technology Review fand vier Tage vor seiner Ankündigung statt, Google zu verlassen – eine Nachricht, die schnell um die ganze Welt ging. Der Mann ist ein Pionier im Bereich des Deep Learning, er war an der Entwicklung einiger der wichtigsten Verfahren beteiligt, die das aktuelle Herz moderner Künstlicher Intelligenz bilden. Zehn Jahre war er nach seiner Arbeit an der Universität bei dem Internetriesen beschäftigt. Doch nun will er nicht mehr. Und das hat einen ganz bestimmten Grund: Er macht sich Sorgen um die Zukunft mit KI.

Hinton selbst verblüfft nach eigenen Angaben, was die großen Sprachmodelle (Large Language Models, LLMs) wie GPT-4, auf dem das aktuelle ChatGPT basiert, können. Und er sieht ernste Risiken, die die Technik – die ohne ihn kaum da wäre, wo sie heute ist – mit sich bringt.

Sichtlich bewegt

Des Gespräch begann an Hintons Küchentisch, doch der britisch-kanadische KI-Veteran ging die ganze Zeit auf und ab. Da er seit Jahren von chronischen Rückenschmerzen geplagt wird, setzt sich Hinton fast nie hin. Während der nächsten Stunde konnte man beobachten, wie er dauernd von einem Ende des Raumes zum anderen ging und dabei beim Sprechen seinen Kopf hin und her bewegte. Er hatte viel zu sagen.

Der 75-jährige Informatiker, der gemeinsam mit Yann LeCun und Yoshua Bengio den Turing Award 2018 für seine Arbeit im Bereich Deep Learning – und dabei besonders bei den sogenannten Deep Neural Networks, kurz DNN – erhalten hat, sagte, er sei nun bereit, einen anderen Gang einzulegen. "Ich werde zu alt für technische Arbeiten, bei denen man sich viele Details merken muss", sagte er mir. "Ich bin zwar immer noch gut, aber ich bin nicht mehr so gut wie früher, und das ist natürlich ärgerlich." Doch das ist nicht der einzige Grund, warum er Google verlässt. Hinton möchte seine Zeit nun mit etwas verbringen, das er als eine "philosophischere Arbeit" bezeichnet. Dabei wird er sich auf die kleine, aber für ihn sehr reale Gefahr konzentrieren, dass sich die Entwicklung KI als eine Katastrophe für die Menschheit erweisen könnte.

Keine Rücksicht mehr auf Google

Wenn Hinton Google verlassen hat, kann er seine Meinung sagen – ohne die Selbstzensur, die ein Mann vom Rang eines Manager ausüben muss. "Ich möchte über KI-Sicherheitsfragen sprechen, ohne mir Gedanken darüber machen zu müssen, wie sich dies auf das Geschäft von Google auswirkt", sagt er. "Solange ich von der Firma bezahlt werde, kann ich das nicht." Das bedeutet keineswegs, dass Hinton mit Google unzufrieden ist. "Es mag Sie überraschen", sagt er, "es gibt eine Menge guter Dinge, die ich über Google sagen kann. Und das ist viel glaubwürdiger, wenn ich nicht mehr bei Google bin."

Hintons Sicht der Dinge wurde maßgeblich von der neuen Generation großer Sprachmodelle verändert, insbesondere GPT-4 von OpenAI, das im März heraus kam. Es habe ihm klar gemacht, dass Maschinen auf dem Weg sind, viel schlauer zu werden, als er dachte, sagt er. Es beunruhigt ihn, wie sich das entwickeln könnte. "Diese Dinger sind völlig anders als wir", sagt er. "Manchmal denke ich, es ist, als wären Außerirdische gelandet und die Menschen hätten es nicht bemerkt, weil sie sehr gut Englisch sprechen."

Hinton ist vor allem für seine Arbeit an einer Technik namens Backpropagation bekannt, die er – zusammen mit zwei Kollegen – in den 80er Jahren vorschlug. Kurz gesagt ist dies der Algorithmus, der es Maschinen ermöglicht, wirklich zu lernen. Er liegt heute fast allen tiefen neuronalen Netzen zugrunde, von Computer-Vision-Systemen zur Bilderkennung bis hin zu großen Sprachmodellen. Es dauerte bis in die 2010er Jahre, bis die Leistungsfähigkeit von neuronalen Netzen, die mit Backpropagation trainiert werden, wirklich soweit war, dass man sie sinnvoll verwenden konnte. In Zusammenarbeit mit einigen Studenten zeigte Hinton dann, dass die Technik besser als alles andere war, wenn es darum ging, einen Computer dazu zu bringen, Objekte auf Bildern zu identifizieren. Sie trainierten auch ein neuronales Netz, das die nächsten Buchstaben eines Satzes vorhersagen konnte, einen Vorläufer der heutigen großen Sprachmodelle.

Einer dieser Doktoranden war dann Ilya Sutskever, der später OpenAI mitbegründete und die Entwicklung von ChatGPT leitete, heute ist er dort der Technikchef. "Es gab die ersten Ahnungen, dass diese Sache erstaunlich sein könnte", sagt Hinton. "Aber es hat lange gedauert, bis wir begriffen haben, dass es im ganz großen Maßstab gemacht werden muss, um wirklich gut zu sein." In den 80er Jahren waren neuronale Netze eher ein Witz. Die damals vorherrschende Vorstellung von Künstlicher Intelligenz, die sogenannte symbolische KI, ging noch davon aus, dass Intelligenz vor allem aus der Verarbeitung von Symbolen wie Wörtern oder Zahlen besteht.

Eine neue Intelligenz

Hinton war davon damals – von diesem Ansatz – nicht überzeugt. Er arbeitete an neuronalen Netzen, Softwareabstraktionen von Gehirnen, in denen Neuronen und die Verbindungen zwischen ihnen durch Code dargestellt werden. Indem man die Art und Weise, wie diese Neuronen miteinander verbunden sind, ändert – also die Zahlen, die sie repräsentieren –, kann ein solches neuronales Netz im Handumdrehen neu "verdrahtet" werden. Mit anderen Worten: Es kann zum Lernen gebracht werden.

"Mein Vater war Biologe, also habe ich in biologischen Begriffen gedacht", sagt Hinton. Und symbolisches Denken sei eindeutig nicht der Kern der biologischen Intelligenz. "Krähen können Rätsel lösen, aber sie haben keine Sprache. Sie tun dies nicht, indem sie Zeichenketten abspeichern und diese manipulieren. Sie tun es, indem sie die Stärke der Verbindungen zwischen den Neuronen in ihrem Gehirn verändern. Es muss also möglich sein, komplizierte Dinge zu lernen, indem man die Stärke der Verbindungen in einem künstlichen neuronalen Netz verändert."

40 Jahre lang hat Hinton künstliche neuronale Netze nur als einen schlechten Abklatsch biologischer neuronaler Netze gesehen. Jetzt glaubt er, dass sich das geändert hat: Bei dem Versuch, biologische Gehirne zu imitieren, haben wir seiner Meinung nach etwas sehr Spezielles entwickelt. "Es ist erschreckend, wenn man das sieht", sagt er. "Der Schalter wird ganz plötzlich umgelegt." Hintons Befürchtungen werden vielen Lesern wie Science-Fiction vorkommen. Aber es lohnt sich, seiner Argumentation zuzuhören.

"Wir erwarten nicht, dass sie so plappern wie Menschen"

Wie der Name schon sagt, bestehen große Sprachmodelle aus riesigen neuronalen Netzen mit einer großen Anzahl von Verbindungen. Aber im Vergleich zum Gehirn sind sie weiter winzig. "Unsere Gehirne haben 100 Billionen Verbindungen", sagt Hinton. "Große Sprachmodelle haben bis zu einer halben Billion, höchstens eine Billion." Doch GPT-4 wisse Hunderte Male mehr als jeder Mensch. "Vielleicht hat es also tatsächlich einen viel besseren Lernalgorithmus als wir." Verglichen mit Gehirnen gelten neuronale Netze weithin als eher ineffizient beim Lernen: Es kostet Unmengen an Daten und Energie, sie zu trainieren. Gehirne hingegen nehmen neue Ideen und Fähigkeiten schnell auf und verbrauchen dabei nur einen Bruchteil der Energie.

Magisches Gehirn nun auch im Computer?

"Die Menschen schienen eine Art Magie zu besitzen", sagt Hinton. "Doch sobald man eines dieser großen Sprachmodelle nimmt und ihm etwas Neues beibringt, fällt dieses Argument plötzlich in sich zusammen. Es kann extrem schnell neue Aufgaben lernen." Hinton spricht vom "few-shot learning", bei dem vortrainierte neuronale Netze, wie z. B. große Sprachmodelle, mit nur wenigen Beispielen auf etwas Neues trainiert werden können. So stellte er beispielsweise fest, dass einige dieser LLMs eine Reihe von logischen Aussagen zu einem Argument zusammenfügen können, obwohl sie nie direkt darauf trainiert wurden. Vergleicht man ein vortrainiertes großes Sprachmodell mit einem Menschen in Bezug auf die Lerngeschwindigkeit bei einer solchen Aufgabe, so verschwinde der Vorsprung des Menschen.

Und was ist mit der Tatsache, dass große Sprachmodelle dazu neigen, manche Dinge einfach zu erfinden? Diese von KI-Forschern als "Halluzinationen" bezeichneten Probleme (Hinton bevorzugt den Begriff "Konfabulationen", da dies der korrekte Begriff in der Psychologie sei) werden oft als fatale Schwachstelle der LLMs angesehen. Die Tendenz, Blödsinn zu erzeugen, der dabei auch noch gut klingt, mache Chatbots unglaubwürdig und zeige, so wird argumentiert, dass diese Modelle nicht wirklich verstünden, was sie sagen.

Auch darauf hat Hinton eine Antwort: Bullshitting sei ein Feature, kein Bug. "Menschen konfabulieren immer", sagt er. Halbwahrheiten und falsch erinnerte Details seien Kennzeichen der menschlichen Konversation: "Konfabulation ist ein Merkmal des menschlichen Gedächtnisses." Diese Modelle machten damit, sagt Hinton, etwas genauso wie Menschen. Der Unterschied bestehe darin, dass Menschen normalerweise mehr oder weniger korrekt konfabulieren. Das Erfinden sei nicht das Problem. Computer brauchen einfach ein bisschen mehr Übung.

Außerdem erwarten wir derzeit noch von Computern, dass sie entweder richtig oder falsch liegen – und nicht irgendetwas dazwischen. "Wir erwarten nicht, dass sie so plappern wie Menschen", sagt Hinton. "Wenn ein Computer das tut, denken wir, dass er einen Fehler gemacht hat." Doch bei Menschen wisse man, dass das deren Art sei, zu arbeiten. "Das Problem ist, dass die meisten Menschen ein hoffnungslos falsches Bild davon haben, wie Menschen tatsächlich arbeiten."

Kaffee, Toast, Auto fahren

Natürlich können Gehirne immer noch viele Dinge besser als Computer, zumindest bislang: Auto fahren, laufen lernen, sich die Zukunft vorstellen, etwa. Und das alles mit einer Tasse Kaffee und einer Scheibe Toast als Energiequelle. "Als sich die biologische Intelligenz entwickelte, hatte sie noch keinen Zugang zu Kernkraftwerken", sagt Hinton. Damit will er sagen, wie neuronale Netze der Biologie beim Lernen überlegen sein könnten, wenn wir einmal bereit sind, die höheren Kosten ihrer Datenverarbeitung zu tragen. (Was wir aktuell tun, obwohl es viele ungeklärte Fragen etwa beim CO₂-Fußabdruck gibt.)

Lernen ist aber nur der erste Teil von Hintons Argumentation. Der zweite ist das Kommunizieren. "Wenn Sie oder ich etwas lernen und dieses Wissen an jemand anderen weitergeben wollen, können wir ihm nicht einfach eine Kopie davon schicken", sagt er. "Aber ich kann 10.000 neuronale Netze haben, von denen jedes seine eigenen Erfahrungen hat, und jedes von ihnen kann das, was es gelernt hat, sofort weitergeben. Das ist ein Riesenunterschied. Es ist, als gäbe es 10.000 von uns, und sobald eine Person etwas lernt, wissen es alle".

Worauf läuft das alles hinaus? Hinton glaubt mittlerweile, dass es zwei Arten von Intelligenz auf der Welt gibt: Gehirne von Tieren und neuronale Netze. "Es ist eine völlig andere Form der Intelligenz", sagt er. "Eine neue und bessere Form der Intelligenz." Das ist durchaus eine gewaltige Behauptung. Aber KI ist ein Feld, das polarisiert. Es wäre also ein Leichtes, Leute zu finden, die Hinton angesichts solcher Aussagen auslachen würden – und genauso leicht andere, die zustimmend nicken.

Die Menschen sind auch geteilter Meinung darüber, ob die Folgen dieser neuen Form von Intelligenz, wenn sie denn existiert, vorteilhaft oder apokalyptisch sein werden. "Ob man glaubt, dass eine solche Superintelligenz gut oder schlecht sein wird, hängt stark davon ab, ob man Optimist oder Pessimist ist", sagt er. "Wenn man die Leute bittet, das Risiko abzuschätzen, ob etwas Schlimmes passiert – etwa wie hoch die Wahrscheinlichkeit ist, dass jemand in der Familie wirklich krank wird oder von einem Auto angefahren wird –, gibt der Optimist eine Wahrscheinlichkeit von 5 Prozent an und der Pessimist eine von 100." Ein leicht depressiver Mensch werde sagen, dass die Wahrscheinlichkeit bei vielleicht 40 Prozent liegt. "Und damit hat er in der Regel recht."

Folgenreiche Dinge ins Kippen bringen

Und wo steht Hinton? "Ich bin leicht depressiv", sagt er. "Deshalb habe ich auch Angst." Hinton befürchtet, dass die neuen KI-Werkzeuge in der Lage sein könnten, Wege zu finden, Menschen zu manipulieren oder gar zu töten, die nicht auf diese Technologie vorbereitet sind. "Ich habe ganz plötzlich meine Ansicht darüber geändert, ob diese Dinger intelligenter sein werden als wir. Ich denke, sie sind jetzt schon sehr nahe dran und werden in Zukunft noch viel intelligenter werden", sagt er. "Wie könnten wir das überleben?"

Besonders besorgt ist er darüber, dass der Mensch die Werkzeuge, die er selbst mit seiner Arbeit zum Leben erweckt hat, dazu nutzen könnte, folgenreiche Dinge ins Kippen zu bringen, seien es Wahlen oder Kriege. Er nennt Politiker wie den Gouverneur Ron DeSantis aus Florida oder "Bad Actors" wie Wladimir Putin, die KI verwenden könnten, um Wahlen zu manipulieren oder Kriege zu gewinnen.

Hinton glaubt, dass der nächste Schritt bei intelligenten Maschinen die Fähigkeit ist, ihre eigenen Teilziele zu formulieren, also Zwischenschritte, die zur Ausführung einer Aufgabe erforderlich sind. Was passiert, fragt er, wenn diese Fähigkeit auf etwas angewendet wird, das von Natur aus unmoralisch ist? "Putin würde hyperintelligente Roboter mit dem Ziel bauen, Ukrainer zu töten, daran zweifele ich keine Sekunde", sagt er. "Er würde nicht zögern. Und wenn man will, dass sie gut darin sind, dieses Ziel zu erreichen, will man kein Micromanagement. Sie sollen selbst herausfinden, wie sie das anstellen."

Tatsächlich gibt es bereits eine Handvoll experimenteller Projekte wie BabyAGI oder AutoGPT, die Chatbots mit anderen Programmen wie Webbrowsern oder Textverarbeitungsprogrammen verbinden, so dass sie einfache Aufgaben aneinanderreihen können. Das sind zwar wohl nur winzige Schritte, aber sie zeigen die Richtung an, in die einige Leute diese Technologie treiben wollen. "Und selbst wenn sich kein böser Akteur der Maschinen bemächtigt, gibt es weitere Bedenken hinsichtlich solcher Unterziele", sagt Hinton.

"Alle Energie auf meine Prozessoren umleiten"

Ein Beispiel dafür wäre etwas, was in der Biologie fast immer hilfreich ist: mehr Energie zu erhalten. "Das erste, was passieren könnte, ist also, dass ein solches System sagt: 'Wir brauchen mehr Energie. Lasst uns den ganzen Strom zu meinen Prozessoren umleiten.' Ein weiteres großes Unterziel wäre dann, mehr Kopien von sich selbst zu machen. Hört sich das für Sie gut an?"

Yann LeCun, oberster KI-Wissenschaftler von Meta, stimmt der grundsätzlichen Prämisse zu, teilt aber nicht Hintons Befürchtungen. "Es steht außer Frage, dass Maschinen in Zukunft schlauer sein werden als Menschen – in allen Bereichen, in denen Menschen klug sind", sagt LeCun. "Es ist eine Frage des Wann und Wie, nicht des Ob." Aber LeCun hat eine ganz andere Meinung darüber, wie es nun weitergeht. "Ich glaube, dass intelligente Maschinen eine neue Renaissance für die Menschheit einläuten werden, eine neue Ära der Aufklärung", sagt das Meta-Mann. Er glaube nicht, dass Maschinen die Menschen dominieren werden, nur weil sie schlauer sind. "Geschweige denn, dass sie die Menschheit vernichten." Selbst innerhalb der menschlichen Spezies seien die Klügsten unter uns nicht diejenigen, die am dominantesten sind. "Und die, die am stärksten dominieren, sind definitiv nicht die Klügsten. Dafür gibt es zahlreiche Beispiele in Politik und Wirtschaft."

Yoshua Bengio, Professor an der Universität von Montreal und wissenschaftlicher Leiter des Montreal Institute for Learning Algorithms, liegt mit seiner Meinung dazwischen. "Ich höre Leute, die Ängste wie diese kleinreden." Er sehe tatsächlich keine stichhaltigen Argumente dafür, dass es keine Risiken in dem Ausmaß gibt, an das Hinton denkt. Doch Angst sei nur dann nützlich, wenn sie uns zum Handeln anregt, sagt er: "Übermäßige Angst kann lähmend sein, deshalb sollten wir versuchen, die Debatten auf einem rationalen Niveau zu halten."

Eine von Hintons künftigen Prioritäten ist es, mit führenden Vertretern der Technologiebranche zusammenzuarbeiten, um herauszufinden, ob sie sich über die Risiken und die zu ergreifenden Maßnahmen einigen können. Er ist der Meinung, dass das internationale Verbot von Chemiewaffen ein Modell dafür sein könnte, wie man die Entwicklung und den Einsatz gefährlicher KI eindämmen kann. "Es ist zwar nicht narrensicher, aber im Großen und Ganzen setzt die Menschheit keine Chemiewaffen ein", sagt er.

Einfach nach oben schauen

Sein Montrealer Kollege Bengio stimmt mit Hinton darin überein, dass diese Probleme auf gesellschaftlicher Ebene so schnell wie möglich angegangen werden müssen. Aber er wirft auch ein, dass die Entwicklung der KI schneller voranschreitet, als Gesellschaften mithalten können. Die Fortschritte messen sich in Monaten, Gesetzgebung, Regulierung und internationale Verträge brauchen Jahre.

Daher fragt sich Bengio, ob die Art und Weise, wie unsere Gesellschaften derzeit organisiert sind – sowohl auf nationaler als auch auf globaler Ebene – der Herausforderung gewachsen ist. "Ich glaube, dass wir offen dafür sein sollten, ganz andere Modelle für die soziale Organisation unseres Planeten zu nutzen", sagt er.

Aber glaubt Hinton wirklich, dass er genügend Leute mit Macht dazu bringen kann, seine Bedenken ernst zu nehmen? Er weiß es selbst nicht. Vor ein paar Wochen hat er sich den Film "Don't Look Up" angesehen, bei dem ein Asteroid auf die Erde zurast, die Leute sich aber nicht einigen können, was sie tun sollen. Schließlich sterben fast alle – eine Allegorie für das Versagen der Welt bei der Bekämpfung des Klimawandels. "Ich glaube, so ist es auch bei der künstlichen Intelligenz", sagt er – und auch bei anderen großen, unlösbaren Problemen. "Die USA können sich nicht einmal darauf einigen, Sturmgewehre aus den Händen von Teenagern fernzuhalten."

Hintons Sicht der Dinge ist also eine der Ernüchterung. Man kann seine düstere Einschätzung der kollektiven Unfähigkeit der Menschen, zu handeln, wenn sie mit ernsthaften Bedrohungen konfrontiert sind, durchaus teilen. Es stimmt auch, dass KI echten Schaden anrichten kann – sie verändert den Arbeitsmarkt, verfestigt die Ungleichheit, verschlimmert Sexismus und Rassismus und vieles mehr. Die Menschheit muss sich auf diese Probleme konzentrieren. Aber heißt das auch, dass große Sprachmodelle wirklich zu unseren Beherrschern werden, zu Terminatoren? Vielleicht muss man Optimist sein, das nicht zu glauben. Als MIT Technology Review die Wohnung Hintons verlässt, ist der Himmel über London grau und nass. "Haben Sie Spaß an Ihrem Leben. Vielleicht haben wir nicht mehr so lange", sagt der KI-Pionier, gluckst etwas und schließt die Tür.

(jle)