Kommentar von Kristian Kersting: Zeitenwende in der Künstlichen Intelligenz
Große neuronale Sprachmodelle skalieren im Milliardenbereich und werden mächtiger. Game over oder Chance für eine neue KI-Kreislaufwirtschaft in Europa?
(Bild: agsandrew/Shutterstock.com)
- Prof. Kristian Kersting
Schon immer war der Mensch von sich selbst und seinen einzigartigen Fähigkeiten fasziniert. Die Funktionsweise der Vernunft und des menschlichen Denkens zu verstehen, wäre in seiner Tragweite mit der Entschlüsselung des Humangenoms und des Urknalls gleichzusetzen.
Leider hilft ein Blick auf unsere DNA dabei nicht. Wie der Evolutionspsychologe Thomas Suddendorf so schön formulierte: Unser Genom "benutzt dasselbe Wörterbuch wie eine Tulpe". Der Programmcode des Menschen ist zu 99 Prozent identisch mit dem eines Schimpansen und zu 50 Prozent mit dem einer Banane. Viele der Dinge wie Sprache und Werkzeuggebrauch, von denen wir einst dachten, dass sie uns auszeichnen, sind ebenfalls bei anderen Tieren und bei immer mehr Systemen der Künstlichen Intelligenz (KI) zu finden.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
In der KI lassen sich dafür verschiedene Wege beschreiten. Man kann versuchen, KI-Modelle zu finden, die in einer bestimmten Anwendung sehr gut und vielleicht sogar besser als ein Mensch sind. Man kann aber auch nach einer "Allgemeinen KI" (Artificial General Intelligence, kurz: AGI) streben, die universell einsetzbar ist und über so etwas wie gesunden Menschenverstand verfügt.
Große KI-Sprachmodelle befeuern Traum einer Allgemeinen KI
Aktuell befeuern große KI-Sprachmodelle (Large Language Models, LLMs) den Traum einer Allgemeinen KI. Varianten wie GPT-3 von OpenAI, Wu Dao 2.0 der Beijing Academy of Artificial Intelligence, Megatron-Turing NLG von Microsoft und Nvidia, AlphaCode und Gopher von DeepMind, oder auch kürzlich DALL·E 2 von OpenAI, das KI-System für Bildsynthese Imagen sowie PaLM von Google stützen sich auf große Datenmengen und gigantische neuronale Netze mit Hunderten von Milliarden Parametern. So besteht Megatron-Turing NLG aus 530 Milliarden Parameter und PaLM aus 540 Milliarden, und die Entwicklung ist rasant: GPT-2 wurde im Juni 2020 vorgestellt, Megatron-Turing NLG 2021, und PaLM im April 2022.
Lesen Sie auch
2021: Das Jahr der KI-Monstermodelle
Danach kam DeepMinds Chinchilla, und Meta AI veröffentlichte seinen Open Pretrained Transformer (OPT-175B), ein Sprachmodell mit 175 Milliarden Parametern, das frei zugänglich ist und auf öffentlich zugänglichen Datensätzen trainiert wurde. Basierend auf Chinchilla hat DeepMind gerade sein multimodales Modell Flamingo und Mitte Mai 2022 Gato vorgestellt. Der KI-Agent Gato ist nicht nur multimodal, sondern auch multitaskingfähig – er kann Atari spielen, Bilder beschriften, chatten, Blöcke mit einem echten Roboterarm stapeln und vieles mehr, wobei er je nach Kontext entscheidet, ob er Text, Gelenkdrehmomente, Tastendrücke oder andere Tokens ausgibt.
Die nächsten Durchbrüche: "Game over"?
Nando de Freitas, ein leitender Forscher bei Googles KI-Forschungsabteilung DeepMind und Mitentwickler von Gato, twitterte voller Zuversicht "Game Over". Gato und sein Motto von "mehr Daten, Parametern, Modalitäten und Tasks" seien ihm zufolge der Weg zur Allgemeinen KI, die wir noch zu unseren Lebzeiten erleben könnten.
Welches die nächsten technischen Durchbrüche in der KI sein werden, ist noch völlig unklar, aber das Credo der Skalierung ist in der bisherigen Erfahrung begründet, dass die Fähigkeiten von LLMs mit ihrer Größe skalieren. Die Hoffnung ist nicht unberechtigt, denn die Gehirne von uns Menschen sind aktuell noch viel größer: Wir haben geschätzt 86 Milliarden Neuronen mit 100 Billionen Synapsen. Das sind mindestens 185-mal so viele Parameter wie bei aktuellen LLMs.
Gemäß den Scaling Laws für neuronale Sprachmodelle korrelieren Größe und Fähigkeiten. Daher gibt es bei der Entwicklung großer Sprachmodelle noch einige Luft nach oben, und kommende, noch größere LLMs könnten uns mit so einigen weiteren Fähigkeiten überraschen! Offen ist hingegen die Frage, ob das Skalieren der Größe unendlich weitergeht oder ob (und ab wo) eine Grenze technologischen Fortschritts durch Skalieren erreicht sein wird.
Natürliche Intelligenz im Brennpunkt der Debatte
Dieser Fortschritt birgt nicht nur großes wirtschaftliches Potenzial für eine KI-Kreislaufwirtschaft, sondern lässt auch die Kognitionswissenschaft intensiv diskutieren: Verarbeiten LLMs Wörter, Sätze, Sprache und Bilder etwa wie das menschliche Gehirn? Sind sie Bausteine natürlicher Intelligenz?
Brenden M. Lake, Kognitionswissenschaftler an der New York University, konnte zeigen, dass visuelle KI-Sprachmodelle bevorzugt Objekte nach Form kategorisieren – ein Phänomen, das als Shape Bias bekannt ist und bei Kindern ab dem zweiten Lebensjahr beobachtet wird. Gary Marcus, emeritierter Professor an der New York University sowie Gründer und CEO von Robust.AI, hält entgegen, dass aktuelle LLMs wie Gato nicht viel mit natürlicher Intelligenz zu tun hätten, denn Gato funktioniere nicht wie unser Gehirn und lerne auch nicht wie ein Kind.
Ob Inselbegabungen oder Allgemeine KI, um es mit den Worten von Bundeskanzler Olaf Scholz zu sagen, wir erleben eine Zeitenwende: Die Welt nach den LLMs ist nicht mehr dieselbe Welt wie davor.
KI-Kreislaufwirtschaft "Made in Europe"
Diese Zeitenwende lebt von leistungsfähigen und hochmodernen KI-Ökosystemen, wie wir sie aus den USA und aus China kennen. Nur, wenn Hochschulen, Firmen, Start-ups und "KI-Superrechner" zusammenkommen, lassen sich KI-Modelle jeder Größe offen, sicher, energie- und speichereffizienter gestalten, mit unseren Daten, unserem Wissen und unseren Werten füttern und mit anderen KI-Techniken frei kombinieren. LLMs brauchen KI-Spezialhardware, die aktuell fast nirgends in Deutschland verfügbar ist, und der Aufbau und Betrieb erfordert besondere Kenntnisse.
Es gibt KI-Sprachmodelle wie GPT-NeoX-20B von EleutherAI, deren Gewichte, Trainings- und Auswertungscode Open Source und die nicht von Firmen trainiert worden sind. Aber das ist eine kleinere Größenordnung. Die KI-Systeme werden auch europäischer: Das multimodale KI-Sprachmodell Luminous des Heidelberger KI-Start-up Aleph Alpha beherrscht unter anderem Deutsch, Englisch, Französisch, Italienisch und Spanisch und basiert auf dem von Aleph Alpha zusammen mit der Universität Heidelberg entwickelten MAGMA-Modell, das vortrainierte LLMs durch Adaptors auf neue Aufgaben anpasst. Die Heidelberger sind damit zurzeit das einzige europäische Unternehmen, das diese Technologie entwickelt und anbietet.
Eigenes KI-Ökosystem für Deutschland gestalten
Wir müssen jetzt ein leistungsfähiges und hochmodernes KI-Ökosystem aufbauen, in Deutschland und in Europa. Das kostet Geld und benötigt den politischen Willen zum Gestalten. Ja! Aber es lohnt sich. Nur so können wir KI-Systeme nach unseren Vorstellungen gestalten und eine KI-Kreislaufwirtschaft "Made in Europe" etablieren: einmal trainieren, immer wieder produktiv weiterverwenden. Letztlich sichern eigene große Sprachmodelle auch unseren Fortschritt in der Entschlüsselung künstlicher und menschlicher Intelligenz.
(sih)