Seite 2: "Der Hype wird sich nochmals verzehnfachen"

Inhaltsverzeichnis

Tatsächlich dürften auch die Modelle, die aus Internet-Inhalten trainiert werden, zunehmend auf KI-Inhalte stoßen. Die sich nur schwer erkennen lassen.

Das Internet enthält Hunderte von Billionen Wörtern. OpenAI-Chef Sam Altman sagte, dass OpenAI derzeit 100 Milliarden Wörter pro Tag oder etwa 36 Billionen Wörter pro Jahr generiert. Selbst wenn all das im Internet landen würde, wäre es derzeit nur ein kleiner Prozentsatz der Gesamtmenge an Text. Vielleicht wird es in ein paar Jahren aber ein spürbarerer Prozentsatz werden.

Hinzu kommt, dass die aus dem Internet gesammelten Daten vor der Verwendung für das Training noch gereinigt werden. Wir können zwar nicht zwischen KI-generierten Daten und qualitativ hochwertigen oder minderwertigen Daten unterscheiden, aber wir können zwischen Daten unterscheiden, die sich wiederholen. Wenn also KI-generierte Daten von guter Qualität sind, könnten sie für das Training verwendet werden. Wenn sie jedoch viel Spam enthalten, werden sie herausgefiltert und aus dem Trainingsdatensatz entfernt.

Es gibt die Zeit, nach der Menschen mit dem Testen von Atomwaffen begonnen hatten – und es gab die Zeit davor. Das lässt sich in der Atmosphäre messen. Kann man das mit der Zeit vor und nach dem Start der großen Sprachmodelle vergleichen?

Vielleicht. Wenn es so weitergeht, wird man in einigen Jahren das Alter von LLMs eindeutig anhand der Unterschiede im Stromverbrauch erkennen können.

Einige KI-Forscher sagen, dass die Zeit der immer größer werdenden Modelle vorbei ist. Wir sollten lieber kleinere und effizientere Modelle entwickeln. Ist das eine Lösungsmöglichkeit?

Kleine und effiziente Modelle können definitiv einen großen Mehrwert bieten, insbesondere für einfachere Aufgaben. Wenn es jedoch um die allgemeine Leistungsfähigkeit geht, sind große Modelle derzeit unschlagbar. Und das menschliche Gehirn ist immer noch größer als die größten Modelle, die wir haben, wenn man die Parameter von KI-Modellen und die Synapsen des Gehirns als gleichwertig betrachtet. Ich gehe also davon aus, dass die meisten Anwendungen künftig kleinere Modelle verwenden werden, aber für komplexere kognitive Anforderungen werden immer noch immer größere Modelle benötigt.

Sie sprechen vom Traum einer Allgemeinen Künstlichen Intelligenz (AGI) oder gar einer Superintelligenz.

Der hängt immer noch von der Skalierung ab, ja. Es könnte jedoch auch synthetische Daten benötigen. Oder KI-Modelle, die direkt aus der realen Arbeit lernen, z. B. durch eigene Experimente. Es könnte auch andere neue Lernformen erfordern, um dorthin zu gelangen.

Was den praktischen Nutzen aktueller LLMs und Chatbots angeht, sind einige Beobachter inzwischen skeptischer als noch vor wenigen Monaten. Wie lange wird der Hype noch anhalten?

Jede weitere Größenordnung der Skalierung wird da zu einem neuen Experiment. Die Entwicklung von Modellen der Größenordnung eines OpenAI-GPT kostete schon Hunderte Millionen, als LLMs noch praktisch nutzlos und der breiten Öffentlichkeit unbekannt waren. Ein paar Jahre später erwirtschaften sie Milliardenumsätze für die Firma.

Jetzt werden Milliarden für die Entwicklung der nächsten Generation ausgegeben. In ein paar Jahren werden wir sehen, ob diese neue Generation dann Umsätze in zweistelliger Milliardenhöhe erwirtschaften kann. Wenn nicht, wird der Hype wahrscheinlich stark abkühlen. Falls es klappt, dann werden wir ein weiteres Experiment sehen, dieses Mal im Maßstab von 100 Milliarden Dollar, und der Hype wird sich nochmals verzehnfachen. (bsc)