Physik-Nobelpreis: Wie viel Physik in neuronalen Netzen steckt
Ohne neuronale Netze wären Sprach- und Bildgeneratoren wie ChatGPT nicht möglich. Der Zusammenhang zur Physik erschließt sich erst auf den zweiten Blick.
(Bild: KI, Collage c't)
"Und der Nobelpreis für Physik 2024 geht nicht an Physik", schrieb die Physikerin und Wissenschaftskommunikatorin Sabine Hossenfelder nur wenige Minuten nach der Bekanntgabe des Preises auf X. Damit bringt sie die Kontroverse um die in diesem Jahr geehrte Forschung auf den Punkt. Denn ausgezeichnet wurden John Hopfield von der Princeton University und Geoffrey Hinton von der University of Toronto für "bahnbrechende Entdeckungen und Erfindungen, die maschinelles Lernen mit künstlichen neuronalen Netzen ermöglichen". Der Bezug zur Physik wird aus der Verlautbarung der Königlich Schwedischen Akademie der Wissenschaften nicht direkt deutlich.
In der Physik-Community machte sich Ernüchterung breit, für die sozialen Medien war es hingegen ein gefundenes Fressen. "Nun lernen Physiker, wie es sich anfühlt, wenn KI ihre Arbeit übernimmt ... ", schrieb der Kosmologe Brian Keating auf X. "Was, wenn KI sich bereits unserer Kontrolle entzieht und lediglich testet, ob sie sich selbst den Nobelpreis für Physik verleihen kann?", witzelte ein anderer Nutzer. "Physiker, die sich darüber beschweren, dass der Nobelpreis an die Informatik ging, haben es nicht verstanden", schrieb die IBM-Physikerin Olivia Lanes, "jetzt, wo die Physik maschinelles Lernen für sich beansprucht hat – stellt euch vor, wofür wir noch alles den Ruhm ernten könnten!"
- John Hopfield erhielt den Nobelpreis für seine Entwicklung des Hopfield-Netzwerks: ein einfaches, neuronales Netz, das Muster speichert und wiederherstellt.
- Geoffrey Hinton entwickelte die Boltzmann-Maschine, eine frühe Form der generativen KI, und die Backpropagation, eine Methode zum Vortraining von neuronalen Netzen. Beide halfen, neuronale Netze einsatzfähig zu machen.
- Sowohl Hopfield-Netzwerke als auch die Boltzmann-Maschine nutzen Methoden aus der theoretischen Physik. Gleichermaßen ist KI heutzutage fester Bestandteil der physikalischen Forschung, sei es in der Teilchenphysik oder in der Kosmologie.
Doch beide Preisträger haben in ihrer Arbeit Methoden verwendet, die aus der theoretischen Physik stammen. John Hopfield (91) ist promovierter Physiker; Geoffrey Hinton (76) war mit den Methoden der statistischen Physik vertraut. Wie viel Physik tatsächlich im maschinellen Lernen steckt und welchen Beitrag die Laureaten zur Entwicklung künstlicher Intelligenz geleistet haben, soll dieser Artikel genauer beleuchten.
(Bild: Steffen Trumpf/dpa)
Videos by heise
Von natürlichen zu künstlichen Neuronen
Auch wenn sich der Begriff "künstliche Intelligenz" in der Umgangssprache verbreitet hat, so ist es in den meisten Fällen doch akkurater, von maschinellem Lernen zu sprechen. Maschinelles Lernen unterscheidet sich grundlegend von klassisch programmierter Software. Letztere arbeitet deterministisch: Sie verarbeitet eingegebene Informationen entsprechend eines vorgegebenen Rezeptes Schritt für Schritt und gibt schließlich ein Ergebnis aus. Beim maschinellen Lernen hingegen lernt ein Computer anhand von Beispielen. So kann er auch Probleme lösen, die zu vage oder kompliziert für ein einfaches Rezept sind. Nach ausführlichem Training ist ein maschineller Lernalgorithmus etwa in der Lage, auf einem Foto eine Katze zu erkennen, obwohl er nie Definitionen wie Schnurrhaare, Fell oder Pfoten einprogrammiert bekommen hat.
Trotz der Vermenschlichung solcher Systeme mit Begriffen wie lernen, trainieren oder denken basieren Maschinen lediglich auf mathematischen Modellen. Um menschliche Fähigkeiten zu imitieren, ließen sich Forscher von der Hirnforschung inspirieren. Das Gehirn besteht aus Nervengewebe, das wiederum aus Nervenzellen besteht, den sogenannten Neuronen. Über Synapsen sind die Neuronen miteinander verknüpft und können so Signale austauschen. Gemeinsam bilden sie ein neuronales Netz: Nicht etwa ein einzelnes Neuron verarbeitet eine Information, sondern das gesamte Netzwerk beziehungsweise Bereiche davon. Künstliche neuronale Netze sollen dieses Prinzip imitieren. Sie bestehen aus Knotenpunkten, den künstlichen Neuronen. Die Verbindungen zwischen ihnen, die "Synapsen", sind gewichtet – manche Neuronen koppeln stärker aneinander als andere.
Erste neuronale Netze und der KI-Winter
Die Entwicklung künstlicher neuronaler Netze begann jedoch nicht mit den Durchbrüchen der Nobelpreisträger in den 1980er-Jahren, sondern bereits vierzig Jahre zuvor. In den 40er-Jahren etablierten sich die ersten elektronischen Computer, vor allem im militärischen und wissenschaftlichen Bereich, um aufwendige und mühselige Berechnungen durchzuführen. Zur gleichen Zeit befassten sich Forschende mit der Frage, wie das Gehirn Informationen verarbeitet. 1943 modellierten der Neurowissenschaftler Warren McCulloch und der Logiker Walter Pitts, wie Neuronen im Gehirn zusammenarbeiten: Ein Neuron berechne die gewichtete Summe eingehender Signale von anderen Neuronen, um ein ausgehendes Signal zu berechnen. Wenig später bemerkten sie, dass ein künstliches neuronales Netz zum Beispiel zur räumlichen Mustererkennung eingesetzt werden könne. Sechs Jahre später schlug der Psychologe Donald Hebb einen Mechanismus vor, wie das Gehirn lernt und Erinnerungen verarbeitet: Werden zwei Neuronen gleichzeitig und wiederholt aktiviert, verstärkt sich die Synapse, die die zwei verbindet. Diese sogenannte Hebbsche Lernregel beschreibt das grundsätzliche Lernverfahren der meisten künstlichen Netzwerke.
In den 50er- und frühen 60er-Jahren entwickelten unterschiedliche Forschungsteams die ersten rudimentären Computer auf Basis neuronaler Netze und setzten sie zur Mustererkennung ein. 1957 präsentierten Frank Rosenblatt und Charles Wightman zum Beispiel den ersten Neurocomputer, der einfache Ziffern erkennen konnte. Marvin Minsky und Seymour Papert zeigten 1969 jedoch, dass dieses System schnell an seine Grenzen geraten würde: Nichtlineare Probleme, wie etwa die XOR-Operation (exklusives Oder: entweder A oder B, aber nicht beides), könne die Rosenblatt-Maschine nicht lösen. Es machte sich die Sorge breit, dass künstliche neuronale Netze niemals wirklich nützlich sein könnten. Dies löste den ersten KI-Winter aus: eine Phase, in der die Forschungsförderung für künstliche neuronale Netze nahezu zum Stillstand kam.
