Meta-Learning for Compositionality: KI soll besser generalisieren als der Mensch
Ein speziell trainiertes neuronales Netzwerk übertrifft Menschen beim logischen Generalisieren – ein Schritt Richtung Künstliche allgemeine Intelligenz?
(Bild: metamorworks/Shutterstock.com)
Neue Forschungsergebnisse könnten eine andauernde Debatte beenden. Denn es scheint Forschern mit einer Reihe von Experimenten gelungen zu sein, mit ihrer Methode "Meta-Lernen für Kompositionalität" (Meta-Leaning for Compositionality, MLC) ein künstliches neuronales Netzwerk anzuleiten, um bei Tests zur systematischen Generalisierung besser abzuschneiden als Menschen. Das geht aus einer bei Nature veröffentlichen Arbeit hervor.
"Seit 35 Jahren diskutieren Forscher in den Bereichen Kognitionswissenschaft, künstliche Intelligenz, Linguistik und Philosophie, ob neuronale Netze eine menschenähnliche systematische Generalisierung erreichen können", sagt Brenden Lake, Assistenzprofessor am Center for Data Science und Department of Psychology an der Universität New York. "Wir haben zum ersten Mal gezeigt, dass ein generisches neuronales Netz die systematische Generalisierung des Menschen in einem direkten Vergleich nachahmen oder übertreffen kann." Mit der systematischen Generalisierung hätten große Sprachmodelle laut Marco Baroni, Mitglied der Forschungsgruppe Computerlinguistik und Sprachtheorie der Universität Pompeu Fabra in Barcelona, "immer noch Probleme", obschon sie in den vergangenen Jahren besser geworden seien. MLC könne das verbessern.
Bisher scheiterten Sprachmodelle und neuronale Netze an Aufgaben, die ein Kind schnell begreift. Als Beispiel führen die Forscher an, wie Kinder Gelerntes in anderen Situationen anwenden: Wenn ein Kind beispielsweise lernt zu hüpfen, kann es nach einiger Zeit auch rückwärts oder um einen Kegel hüpfen – es versteht neue Konzepte und kann sie mit vorher Gelerntem kombinieren. Diese Fähigkeit sprachen Kognitionswissenschaftler wie Jerry A. Fodor und Xenon W. Pylyshyn neuronalen Netzwerken in einem Paper von 1988 ab, sodass diese auch nicht als Modelle für das menschliche Denken taugen.
MLC soll Generalisierung bei ChatGPT und Co. verbessern
Das System MLC erhält beispielsweise ein neues Wort und wird gebeten, aus dem Wort "springen" neue Wortkombinationen zu bilden, wie etwa "zweimal springen" oder "zweimal rechts herumspringen". Anschließend soll MLC mit anderen Wörtern ähnliche Kompositionen bilden können. In ihrer Arbeit belegen Lake und Baroni, "dass neuronale Netzwerke durch Optimierung ihrer kompositorischen Fähigkeiten [mit MLC] menschenähnliche Systematik erreichen können".
MLC setzt auf der gängigen Transformer-Architektur anderer Sprachmodelle auf, um darauf "Meta-Lernen" zu implementieren. Das System ist so konzipiert, dass es auf neue Befehle reagiert, indem es frühere Datenmuster analysiert und verwendet. Damit möchten die Forscher nachahmen, wie Menschen aus Erfahrungen lernen und diese nutzen, um auf neue Situationen zu reagieren. Dabei verwendet MLC keinen festen Datensatz, sondern passt die sich verändernden Daten an. Es soll die Bedeutung von Daten erkennen und sie kombinieren können, um auf neue Anfragen zu reagieren.
In den Testphasen des Systems haben die Forscher bestimmte Einstellungen des Modells nicht verändert, um zu sehen, wie gut es auf Basis des bisher Gelernten funktioniert. Das System könne nicht nur korrekte, sondern auch fehlerhafte menschliche Antworten nachahmen, basierend auf den Mustern, die es in den Daten erkennt. Den Quellcode und vortrainierte Modelle haben die beiden Forscher auf Github veröffentlicht.
Fantasiefarben und linguistische Tests
Um ihr System gegen menschliche Probanden antreten zu lassen, haben sich die Forscher Fantasienamen für die Farben Rot, Grün, Blau und Gelb ausgedacht ("dax", "wif", "lug" und "zup") sowie Funktionen ("fep", "blicket" und "kiki") zum Wiederholen, Tauschen und Verketten von Farben. Damit untersuchten Sie das Erlernen strukturierter algebraischer Systeme – sowohl bei Menschen als auch bei Maschinen. Außerdem analysierten sie das Verhalten in Reaktion auf mehrdeutige linguistische Tests, um menschliche induktive Verzerrungen und deren Einfluss auf die systematische Generalisierung zu charakterisieren, schreiben Maroni und Lake. Als induktive Verzerrungen wird bezeichnet, wenn man aus spezifischen Beobachtungen allgemeine Schlüsse zieht, die nicht unbedingt zutreffen.
KI schlägt Mensch
Das von Lake und Maroni trainierte neuronale Netz musste auch die Bedeutung tatsächlicher Wörter erlernen und wissen, wie man sie gebraucht. Dabei schnitt MLC den Forschern zufolge bei allen Tests besser ab als die menschlichen Probanden, aber auch besser als GPT-4. Bestehende Ansätze würden damit übertroffen, das System sei dem Menschen mindestens ebenbürtig. Mit dem MLC wollen die Forscher neuronale Netze trainieren und die Fähigkeit von Systemen wie ChatGPT verbessern, "systematische Verallgemeinerungen" zu erzeugen. Damit soll sich die Verarbeitung natürlicher Sprache verbessern. Für das Trainieren der Netzwerke kam eine Nvidia Titan RTX GPU zum Einsatz.
(mack)
