Meta veröffentlicht Llama 3.1 405B – ein "Knaller" wie Zuckerberg sagt

Inhaltsverzeichnis

Meta bleibt seinem Weg treu, KI-Modelle Open-Source zu veröffentlichen. Das gilt entsprechend auch für Llama 3.1 405B. Die neue Version des Großen Sprachmodells umfasst 405 Milliarden Parameter. Es gibt aber auch kleinere Versionen mit jeweils 70B und 8B. Llama 3.1 soll es laut Meta in zahlreichen Tests mit GPT-4o aufnehmen können, dabei aber deutlich günstiger sein. Mark Zuckerberg sagt, es sei ein "Knaller". Der Meta-Chef hat zudem einen ausführlichen Blogbeitrag geschrieben, warum Meta auf Open-Source setzt und darin die Zukunft von KI sieht. Dabei kritisiert er auch mal wieder Apple.

Llama 3.1 405B ist auch in Deutschland verfügbar. Meta hatte angekündigt, kommende multimodale KI-Modelle sowie Meta AI nicht in der EU anzubieten und nennt regulatorische Unsicherheiten als Grund – wirklich konkret ist das allerdings nicht. Llama 3.1 beherrscht auch deutsch und einige weitere Sprachen. Die Kontextlänge beschränkt sich auf 128.000 Token. Im Vergleich, Googles Gemini ist für Cloud-Kunden mit zwei Millionen Token verfügbar – aber geschlossen. Googles offenes Model Gemma 2 gibt es mit 9 und 27 Milliarden Parametern.

Meta: Zukunft von KI sind Agenten

Meta erwartet, dass Llama 3.1 neue Arbeitsabläufe ermöglicht, dazu gehört die Erstellung synthetischer Daten und die Model-Distillation. Nutzbare Daten werden knapp, nicht nur, weil die Frage nach der rechtmäßigen Nutzung von Daten im Raum steht, sondern auch, weil es zum Skalieren der Modelle immer größere Mengen bedarf. Unter Model-Distillation versteht man die Übertragung des Wissens eines großen Modells auf ein kleineres.

Agenten sind bei Meta, wie auch den anderen großen KI-Anbietern, das nächste große Ding nach den Großen Sprachmodellen. Sie sollen einzelne Aufgaben für die Nutzerinnen und Nutzer automatisiert ausführen. Meta schreibt im Blogbeitrag, man wolle Entwicklern die nötigen Tools an die Hand geben, um ihre eigenen Agenten zu bauen. Dazu gehören auch neue Werkzeuge für die Sicherheit – Llama Guard 3 und Prompt Guard. Es wird ein Request for Comments (RFC) für die Llama Stack API geben.

Zuckerberg als Open-Source-Verfechter

Meta und Mark Zuckerberg selbst sehen in der Veröffentlichung der KI-Modelle als Open-Source auch die besten Chancen für die Weiterentwicklung und die Sicherheit. Dabei vergleicht Zuckerberg die Entwicklungen mit denen von Linux. Er möchte seine Modelle zum "Industrie-Standard" machen, also zu den am meisten genutzten und fortschrittlichsten KI-Modellen. In Open-Source sieht er die Chance, dass jeder KI-Modelle nach seinen Bedürfnissen entwickeln kann. Zudem würden viele Unternehmen und Organisationen nicht von einem Anbieter abhängig sein wollen, geschweige denn, ihre Daten über eine API in die Cloud senden. Vorteil ist laut Blogbeitrag von Zuckerberg auch, dass Entwickler Llama 3.1 405B auf ihrer eigenen Infrastruktur laufen lassen können – bei etwa 50 Prozent der Kosten der Nutzung von GPT-4o.

Open-Source erlaube es außerdem, fortschrittlicher zu sein, meint Zuckerberg. Es werde ein ganzes Ökosystem rund um die Modelle entstehen. Und weil es nicht die Haupteinnahmequelle Metas ist, könne man sich erlauben, die Modelle frei zur Verfügung zu stellen.

Zuckerberg kritisiert deutlich – und nicht zum ersten Mal – Apple: "Bei der Art und Weise, wie sie Entwickler besteuern, den willkürlichen Regeln, die sie anwenden, und all den Produktinnovationen, die sie blockieren, ist es klar, dass Meta und viele andere Unternehmen viel bessere Dienste für die Menschen entwickeln könnten, wenn sie die besten Versionen ihrer Produkte entwickeln könnten und die Wettbewerber nicht in der Lage wären, diese Möglichkeiten einzuschränken."

Risiken und Sicherheit von KI

KI-Modelle bergen Gefahren, das sieht auch Zuckerberg so. Er nennt im Blogbeitrag zwei Arten von Gefahren. Zum einen die ungewollten, beispielsweise, wenn ein KI-Modell schlechte oder gefährliche Ratschläge gibt. Dazu gehört aber auch, dass KI sich quasi selbstständig machen könnte. Open-Source sei eine Chance, die Oberhand zu behalten – dank Transparenz und einer Vielzahl an Menschen, die die Systeme im Blick haben.

Beabsichtigte Risiken entstehen durch "bad actors", also Menschen, die böse Absichten haben und dazu KI nutzen. Diesen könne man mit eigenen, besseren Systemen entgegnen, meint Zuckerberg. Große Organisationen, denen mehr Leistung zur Verfügung steht, können kleinere Akteure kontrollieren. Zuckerberg meint auch, bei Social Media funktioniere dies ja bereits gut.

(emw)