Zuckerberg: Llama 4 braucht zehnmal mehr Rechenleistung als Vorgänger

Mark Zuckerberg geht davon aus, dass die Entwicklung des nächsten KI-Modells zehnmal mehr Rechenleistung benötigen werde.

76

(Bild: Below the Sky/Shutterstock.com)

12.08.2024, 10:13 Uhr

Lesezeit: 3 Min.

Von

Eva-Maria Weiß

Künstliche Intelligenz kostet eine Menge Geld. Sowohl bei der Entwicklung als auch für den Betrieb. Mark Zuckerberg hat nun bei Vorstellung der Quartalszahlen auch gesagt, er rechne mit einer Verzehnfachung der benötigten Rechenleistung für das kommende Modell – Llama 4.

Meta veröffentlicht seine Großen Sprachmodelle als Open Source. Zuckerberg erwartet sich davon, dass ein ganzes Ökosystem rund um seine KI entsteht. Außerdem umgeht er damit in Teilen auch die Regulierung der Modelle. Llama 4 soll den Konzern jedoch reichlich Geld kosten. Zum einen wären da die Kosten für die Entwicklung, wozu auch die Bezahlung der Mitarbeiter und Forscher gehört, wesentlicher Faktor ist aber vor allem das Training. Dieses werde laut des Meta-Chefs zehnmal mehr Rechenleistung benötigen, wie beim Training von Llama 3 anfiel. Dabei ist Llama 3.1 bereits ein Modell mit 400 Milliarden Parametern – das sind doppelt so viele wie bei OpenAIs GPT-4o.

Meta investiert dank Werbeeinnahmen

Zuckerberg erwartet auch, dass künftige Modelle noch weiter wachsen werden. Allerdings hat er bei Vorstellung der Quartalszahlen auch gesagt, es sei schwer vorherzusagen, wie sich Große Sprachmodelle entwickeln würden. "Aber zum jetzigen Zeitpunkt würde ich angesichts der langen Vorlaufzeiten für neue Inferenzprojekte lieber das Risiko eingehen, Kapazitäten aufzubauen, bevor sie benötigt werden", zitiert TechCrunch Zuckerberg. Die Investitionen von Meta stiegen im zweiten Quartal 2024 um etwa 33 Prozent auf 8,5 Milliarden US-Dollar – das Geld floss in Server, Rechenzentren und Netzwerkinfrastruktur.

Dabei ist unklar, ob immer mehr Parameter und immer größere Modelle tatsächlich bessere Leistung bringen. Manche KI-Experten glauben, man könne durch reines Skalieren eine Artificial General Intelligenz (AGI) erschaffen. Viele Wissenschaftler sehen das allerdings äußerst kritisch. Auch Metas KI-Forschungsleiterin Naila Murray hat im Interview mit heise online gesagt, sie glaube, es bedürfe anderer Arten von KI-Modellen, um etwa Agenten und schlussendlich eine Art Intelligenz zu erschaffen.

Wie hoch die Kosten für das Training von Großen Sprachmodellen sind, ist bisher ziemlich unbekannt. Metas CFO hat erklärt, man erwarte nicht, dass generative KI einen großen Anteil an den Einnahmen des Konzerns ausmachen werde. Auch Zuckerberg hatte bereits in einem Blogbeitrag geschrieben, Meta könne sich die Entwicklung von KI und das zur Verfügung stellen als Open Source nur leisten, weil sie andere Einnahmequellen hätten.

OpenAI etwa soll Berichten zufolge nicht ausreichend Umsatz machen, um die eigenen Kosten zu decken. Das Geschäftsmodell basiert aktuell auf Investitionen – etwa von Microsoft. Über die tatsächlichen Kosten der Entwicklung ist allerdings nicht viel bekannt.

In der EU werden die Anbieter von sogenannter General Purpose AI (GPAI) künftig offenlegen müssen, wie hoch der Energieverbrauch der Modelle ist. Das gilt sowohl für die Entwicklung samt Training als auch den Betrieb. Der AI Act sieht vor, dass Anbieter ihre KI möglichst ressourcenschonend entwickeln müssen.