KI skaliert nicht mehr: Selbst Orion und Opus kaum besser
KI-Modelle werden mittels Skalierung nicht mehr viel besser – das soll auch OpenAIs Orion und Anthropics Opus betreffen.
(Bild: photoschmidt/ Shutterstock.com)
Large Language Models (LLMs) und aktuelle Generative-KI-Modelle basieren auf einer Architektur, die seit Langem bekannt ist. Verbesserungen gab es vor allem durch das Skalieren, also durch die Zugabe von mehr Daten. Manche KI-Experten hatten die Hoffnung, immer mehr Daten könnten schlussendlich sogar zu einer Artificial General Intelligence (AGI) führen. Nun scheint sich auch unter den Skalierungs-Befürwortern die Sorge breitzumachen, dass es doch nicht so einfach ist.
Der Insider hat sich bereits dadurch ausgezeichnet, gute Kenntnisse über das zu haben, was bei OpenAI vor sich geht. Nun schreibt das Magazin, OpenAIs nächstes KI-Model Orion zeige keine deutliche Verbesserung. Dabei wurde Orion immer wieder als ein wichtiger Meilenstein Richtung AGI gehandelt. Auch Anthropic hat die Veröffentlichung seines geplanten leistungsstärksten Modells auf unbestimmte Zeit verschoben. Claude Opus 3.5 sollte noch in diesem Jahr erscheinen, zuletzt fehlte diese Information bei der Veröffentlichung anderer Modelle.
Laut Reuters sieht Ilya Sutskever, ehemals OpenAI-Gründer, sogar ein Plateau erreicht: "Die 2010er waren die Jahre des Skalierens." Nun befinde man sich wieder in einem Zeitalter des Wunderns und Entdeckens. Dabei sei es wichtiger denn je, an den richtigen Stellen zu skalieren. Sutskever ist bei OpenAI in diesem Sommer ausgestiegen, um sich selbstständig zu machen, er hat das KI-Labor Safe Superintelligence gegründet.
Was kommt nach dem Skalieren?
Während manche Wissenschaftler glauben, das Problem liege am Mangel verfügbarer Trainingsdaten, meinen andere, Skalieren sei grundsätzlich nicht der richtige Ansatz. Ähnlich auseinander gehen auch die Ansätze, ob synthetische Daten, also solche, die von KI-Modellen selbst hergestellt werden, als sinnvolle Ergänzung der Trainingsdaten taugen. Zumindest ohne ausreichende Bearbeitung dieser droht manchen Studien zufolge ein sogenannter Modelkollaps. Grob bedeutet dieser, dass sich die Trainingsdaten immer weiter angleichen, bis nichts Sinnvolles mehr entsteht.
Andere Ansätze sind etwa die Modelldestillation, bei der das Wissen großer Modelle auf kleinere Modelle übertragen wird. Dieser Prozess soll auch dabei helfen, KI kostengünstiger und ressourcensparender zu machen. Zugleich arbeiten die einschlägigen KI-Anbieter derzeit vor allem an der Spezialisierung ihrer Modelle auf einzelne Aufgaben. Damit einher geht die Entwicklung von KI-Agenten, die jene Aufgaben dann selbstständig übernehmen können sollen.
(emw)
