Meta AI: Vor der AGI kommen die Agenten, mehr GPUs und eine neue Infrastruktur

Das Interview wurde auf englisch geführt.

Naila Murray sprach auf Metas "Open Innovation AI Symposium" über KI. Murray ist Direktorin der KI-Forschungsabteilung bei Meta in London. Sie hat mehr als zehn Jahre Erfahrung in der Grundlagenforschung. In ihrer derzeitigen Funktion bei Meta AI leitet Murray ein interdisziplinäres Forschungsteam, das Anwendungen der Verarbeitung natürlicher Sprache, neuronaler Netzwerke und anderer fortschrittlicher KI-Methoden erforscht.

Meta AI ist Open Source. Warum hat sich Meta entschieden, KI-Modelle Open-Source anzubieten?

Wir verfolgen einen offenen Wissenschafts- und Innovationsansatz, weil wir wirklich glauben, dass dies für Meta der beste Weg ist. Wir sind ein Unternehmen, das für die Öffentlichkeit auch offen ist und sich darauf konzentriert, Menschen bei der Kommunikation zu helfen und in ihrer Kommunikation kreativ zu sein. Uns liegt sehr viel daran, dass die Nutzer sich auf unserer Plattform ausdrücken können. Das ist im Grunde eine kreative Tätigkeit. Wir wollen also die Tools zur Verfügung stellen, mit denen die Leute experimentieren und neue Anwendungsfälle für neue Ausdrucksmöglichkeiten finden können. Das ist also etwas, das im Grunde einen offeneren Ansatz erfordert.

Gen AI in seiner jetzigen Form ist mehr oder weniger zwei Jahre alt. Sie verändert sich ständig, und es kommen ständig neue Funktionen hinzu. Anstatt dass wir uns die alle neuen Möglichkeiten nun selbst ausdenken, wollen wir sie gemeinsam mit unserer Nutzergemeinschaft finden. Die Community im Bereich KI war schon immer sehr offen, weil sie dadurch viel schneller vorangekommen ist. Es ist ein Forschungsgebiet, in dem Offenheit eher möglich ist als in den Natur- oder Biowissenschaften. Dort ist es nicht so einfach, Forschungsergebnisse weiterzugeben. Wir können Code weitergeben, was sehr, sehr einfach ist. Es beschleunigt den Forschungsbereich, wenn wir mit einer globalen Gemeinschaft von Forschern über unsere Mauern hinaus zusammenarbeiten. Wir sind zwar ein großes, gut ausgestattetes Unternehmen, aber auch wir haben Grenzen, und wir brauchen und können von der Zusammenarbeit mit anderen profitieren, um als Ganzes, als gesamte Branche, Fortschritte zu machen.

Sie haben gerade gesagt, dass generative KI erst zwei Jahre alt ist, aber Sie sind schon viel länger im Bereich der KI tätig. Was hat sich für Sie geändert, seit ChatGPT veröffentlicht wurde und es diesen großen Hype gibt und jetzt alle über KI sprechen?

Ich möchte mich klar ausdrücken: Generative KI ist sehr alt. Nicht, dass jemand denkt, sie sei zwei Jahre alt, aber es hat in den letzten zwei Jahren einen Paradigmenwechsel gegeben. ChatGPT hat genau gezeigt, wie weit man mit Skalierung kommen kann. Wir hatten genau die gleichen Technologien, die für ChatGPT verwendet wurden. Sie waren schon eine Weile verfügbar. OpenAI hat sie weiterentwickelt, um ChatGPT auf den Markt zu bringen, aber die Basistechnologie war schon länger verfügbar. Wenn man viel mehr Rechenleistung und Daten einsetzt, also die Modelle vergrößert, dann sieht man erst, was möglich ist. Das klingt in der Theorie sehr einfach, führt aber erst dann zu dem, was wir als neue Fähigkeiten bezeichnen. Fähigkeiten, die man zu Beginn nicht gesehen hat, die aber durch die Tatsache, dass diese Modelle viel größer sind und viel mehr Daten gesehen haben, ganz einfach auftauchen.

Ich glaube, was sich dadurch für mich und für Forscher im Allgemeinen ändert, ist, dass wir die Skalierung wirklich ernst nehmen und überlegen, wo wir noch skalieren können. Ich glaube, wir versuchen wirklich, die Grenzen der Skalierung auszuloten. Allerdings glaube ich, wir kommen langsam an den Punkt, an dem wir diese Grenzen erkennen. Es bedarf viel wichtige Arbeit, um herauszufinden, wo diese Grenzen tatsächlich liegen. Und darauf bin ich sehr gespannt.

Wo sehen Sie dieGrenzen von KI im Allgemeinen? Jeder denkt, dass KI überall einziehen wird, ich bin mir da nicht sicher. Was denken Sie, wo die Grenzen liegen? Gibt es Bereiche, in denen KI sogar nutzlos sein kann?

Es gibt offensichtliche Grenzen in Bezug auf das, was die Menschen als Halluzination oder als Konfabulation bezeichnen. Die Tatsache, dass diese Modelle im Wesentlichen statistischer Natur sind, bedeutet, dass sie, um richtig zu funktionieren, die gesamte Datenverteilung abbilden müssen, die es da draußen gibt. Und das bedeutet, dass sie wirklich die gesamte Bandbreite der Anwendungsfälle abbilden müssen, die es gibt. Das ist grundsätzlich schwer zu skalieren.

Und so funktionieren intelligente Agenten wie Menschen nicht. Ich will damit nicht sagen, dass es nicht auch andere Arten von Intelligenz geben kann, aber zumindest ist die menschliche Intelligenz eine, bei der wir nicht versuchen, die gesamte Bandbreite der Probleme, die wir als intelligente Agenten bewältigen wollen, quasi auswendig lernen oder erfassen müssen. Wir versuchen, Modelle der Welt zu entwickeln, die es uns ermöglichen, zu denken. Wir denken von Grund auf darüber nach, wie man ein Problem lösen kann. Ich muss nicht versuchen, an ein ähnliches Problem zu denken, das ich schon einmal gesehen habe. Ich kann einfach darüber nachdenken, wie die Welt funktioniert, und versuchen herauszufinden, wie ich ein Problem auf dieser Grundlage lösen kann. Das wird wichtig sein, um wirklich intelligente Agenten zu entwickeln. Agenten, die ziemlich neue Probleme lösen können, oder Probleme, bei denen sie nicht auf "das habe ich schon mal gesehen, und deshalb weiß ich, wie man es löst" zurückgreifen können. Das ist es, was für mich Intelligenz bedeutet.

Dazu brauchen wir Agenten, die wirklich grundlegend verstehen, wie die Welt funktioniert. Ich glaube nicht, dass aktuelle Modelle dazu in der Lage sind. Es hat mich überrascht, wie viele interessante Dinge man mit Hilfe bereits vorhandener Daten erreichen kann. Aber ich denke, dass wir vielleicht an die Grenzen stoßen. Ich würde allerdings nicht darauf wetten, dass wir schon so weit sind. Es könnte sein, dass wir noch ein bisschen mehr Daten verbrauchen und auf diese Weise mehr Aufgaben lösen können. Aber für mich ist das eine der wichtigsten Einschränkungen. Sobald wir an den Punkt kommen, an dem wir eine grundlegend neue Aufgabe lösen wollen, glaube ich nicht, dass unsere Modelle dazu derzeit in der Lage sind.

Und vielleicht noch eine weitere Einschätzung: Selbst im derzeitigen Paradigma gibt es klare Einschränkungen. Nämlich, wenn es darum geht, sich bei kritischen Anwendungen auf diese Modelle zu verlassen. Aufgaben, bei denen es nicht sein darf, dass etwas falsch ist, können nicht übernommen werden. Wenn man diese Modelle zum Beispiel für Kreditentscheidungen oder für Entscheidungen im Zusammenhang mit dem Justizsystem einsetzen will, muss der Mensch dabei sein.

Und die KI-Agenten, können Sie mir sagen, wie weit Ihre Forschung bereits ist? Werden wir sie in einem oder zwei Jahren oder in 10 Jahren haben?

Ich kann nicht allzu viel darüber sagen, wo wir genau stehen. Was ich sagen kann, ist, dass dies ein sehr aktives Forschungsgebiet für uns ist. Wir sind der Meinung, dass Agenten, die autonomer arbeiten können, aber ein sehr gutes Gespür für die Absichten unserer Nutzer haben müssen. Dass Agenten arbeiten, wie wir das wollen, ist der kritische Moment. Es gibt noch keinen Zeitplan, aber sie werden es mitbekommen, weil wir weiterhin einen offenen Ansatz verfolgen werden.

Können Sie mir den Unterschied zwischen KI-Agenten und AGI erklären?

Der Begriff "Agent" steht für die Vorstellung, dass er etwas proaktiver ist als die Art von KI-Systemen, mit denen wir normalerweise zu tun haben. Wenn Sie zum Beispiel an Llama oder Meta AI denken, die wir in unseren Produkten einsetzen, dann warten diese Systeme darauf, dass Sie mit einer Frage zu ihnen kommen, mit etwas, das Sie mit dem KI-Agenten besprechen möchten. Dann interagiert der KI-Agent mit Ihnen in diesem Format. In vielerlei Hinsicht ist das fast wie ein Chatbot. Wir möchten den Agenten in die Lage versetzen, komplexere Aufgaben zu lösen, beispielsweise die Verwendung von Tools. Nehmen wir an, Sie fragen Meta AI, wer letztes Jahr Bundeskanzler in Deutschland war? Dann möchten Sie, dass der Agent in der Lage ist, herauszufinden: Welches Jahr haben wir, welches Jahr hatten wir? Dafür möchten Sie vielleicht einen Kalender verwenden. Vielleicht möchten Sie auch eine Suchmaschine benutzen können. Es geht darum, herauszufinden, welche Hilfsmittel ich für eine komplexe Aufgabe benötige, und dann loszugehen und sie zu benutzen. Dieser Gedanke der proaktiven Problemlösung und der Fähigkeit, externe Werkzeuge zu nutzen, gehört für mich zu den Kernprinzipien von Agenten.

Der Unterschied zu AGI: Für mich ist AGI ein sehr vager Begriff. Ich versuche, mir darunter Agenten vorzustellen, die in der Lage sind, sehr neuartige Probleme relativ autonom zu lösen. Agenten werden also wahrscheinlich in der Lage sein, Aufgaben zu lösen, die wiederum ziemlich ähnlich sind wie Aufgaben, die sie schon einmal gesehen haben. Aber wenn sie in der Lage wären, Werkzeuge auf eine neuartige Weise zu nutzen, würde das für mich den Sprung zur AGI bedeuten.

Sehen Sie irgendwelche Risiken von KI?

Wir müssen dafür sorgen, dass Agenten die Absicht des Benutzers verstehen, also genau wissen, was der Benutzer erreichen will. Das wird der Schlüssel sein. Wir wollen nämlich nicht, dass Agenten Zugang zu sehr leistungsfähigen Tools haben, ohne sicher zu sein, dass sie diese auch so nutzen, wie wir es uns wünschen würden. Das ist also wahrscheinlich das Wichtigste, was wir wirklich richtig machen müssen.

Keine Roboter, die die Welt übernehmen?

Ganz bestimmt nicht. Es ist sehr schwer, abstrakt über Risiken nachzudenken, und AGI ist im Moment ein sehr abstraktes Konzept. Auf welcher Infrastruktur werden wir sie trainieren, AGI brauchen Chips, um damit zu arbeiten, da gibt es eine Menge Unklarheiten. Um darüber nachzudenken, inwiefern die Systeme riskant sind, müssen wir genau überlegen, wie sie implementiert werden, und wir haben keine Ahnung, wie man sie implementiert. Es ist einfach noch zu früh, darüber nachzudenken. Wir sollten schon auf einer abstrakten Ebene darüber nachdenken, aber ich denke, wir müssen realistisch sein, wie weit wir auf diesem Weg gehen können.

Sie haben über die Infrastruktur gesprochen. Können Sie mir etwas über Ihre Pläne für die Infrastruktur erzählen?

Wir arbeiten an einem sehr groß angelegten GPU-Cluster. Wir haben schon vorher große Cluster gehabt, ich würde dies vielleicht als Hyperscale-Cluster bezeichnen, und wir freuen uns sehr darauf, daran zu arbeiten. Wir werden Hunderttausende von GPUs haben, und zwar Hunderttausende von GPUs der neuesten Generation. Das wird also eine große Anstrengung, aber wir arbeiten mit Volldampf an diesem Projekt. Wir freuen uns sehr darüber, sowohl um die Forschung zu beschleunigen, als auch um unsere Produkte und Dienstleistungen zu verbessern.

Es geht nicht nur um generative KI. GPUs werden für alle unsere KI-Dienste verwendet, und wie ich bereits erwähnt habe, haben wir eine Menge Dinge, die nicht zu generativer KI gehören. Das wird also für Meta als Unternehmen entscheidend sein.

(emw)