Llama 3.3 veröffentlicht: Wie Metas neue KI abschneidet

Inhaltsverzeichnis

Der Meta-Konzern hat die neue Version seines Large Language Models (LLM) namens Lllama veröffentlicht. Llama 3.3 70B soll einfacher und kosteneffizienter zu betreiben sein.

Ahmad Al-Dahle, Vice President für generative KI bei Meta, kündigte Llama 3.3 bereits auf X an, und veröffentlichte dazu eine Vergleichsübersicht, in der sich Llama 3.3 mit Nova Pro von Amazon, Gemini Pro 1.5 von Google und ChatGPT-4o von OpenAI misst.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier ein externer Inhalt geladen.

Externen Inhalt jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Für den Vergleich dienten laut der Übersicht verschiedene etablierte KI-Benchmarks, welche bestimmte Datensätze definieren. Diese dienen dazu, die Leistung eines KI-Modells in bestimmten Bereichen zu testen. Und obwohl Meta sehr viele Informationen über seine Llama-Modellfamilie preisgibt – die genauen Trainingsdaten sind bisher unter Verschluss. Die beste Platzierung erzielte Llama im Punkt "Instruction Following", also dem genauen Befolgen von Anweisungen.

Meta nutzte hierfür den Benchmark IFEval, der rund 500 Prompts mit verifizierbaren Aufgaben umfasst, zum Beispiel: "Schreibe mehr als 400 Worte und erwähne das Stichwort KI mindestens dreimal" – allerdings in englischer Sprache, wie alle IFEval-Prompts. 92,1 Prozent der Prompts beantwortete Llama 3.3 richtig. Es ist damit gemeinsam mit Amazon Nova Pro Spitzenreiter des – von Meta selbst zusammengestellten – Vergleichs.

"Long Context"-Prompts gehen am besten

Die höchste Trefferrate erzielte Llama 3.3 mit 97,5 Prozent in der Kategorie "Long Context". Noch besser ist hier nur das ältere Llama-Modell 3.1 mit 98,1 Prozent. Dabei handelt es sich im einen Test nach "NIH/Multi-needle" (NIH = Needle in haystack, bzw. Nadel(n) im Heuhaufen) bei dem es gilt, eine bestimmte Zeichenfolge zu finden.

Allerdings zieht Meta einen Vergleichswert von Google Gemini Pro 1.5 heran, der auch in einem Google-Forschungspapier zu dessen Modell auftaucht. Ebenfalls besonders gute Ergebnisse erzielte Llama 3.3 beim Multilingual MGSM-Datensatz – hier gilt es, 250 Mathematikaufgaben auf Schulniveau in zehn verschiedenen Sprachen zu lösen – Llama 3.3 schaffte 91,1 Prozent, nur Llama 3.1 schaffte mit 91,6 Prozent geringfügig mehr. Teilweise schneidet das neue Modell geringfügig schlechter ab als seine Vorgänger – vermutlich zugunsten der von Al-Dahle angepriesenen Vorteile beim Betrieb und der Kosteneffizienz.

Zuckerberg: 600 Millionen monatliche Nutzer

Llama 3.3 ist inzwischen bei Hugging Face und auf der Meta Website zum Download erhältlich. Insgesamt wurden die Llama-KI-Modelle laut Meta bisher 650 Millionen mal heruntergeladen. 600 Millionen Menschen sollen Llama mittlerweile monatlich nutzen, sagte Meta-CEO Marc Zuckerberg jetzt in einem Instagram-Reel. Llama-KIs sind für Forschung und kommerzielle Zwecke unter bestimmten Bedingungen frei nutzbar, nur Plattformen mit mehr als 700 Millionen monatlich aktiven Nutzern benötigen eine besondere Lizenz von Meta.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier ein externer Inhalt geladen.

Externen Inhalt jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Im November wurde bekannt, dass das chinesische Militär Metas Llama-KIs für seine Zwecke nutzt. Daraufhin erlaubte Meta auch der US-Regierung, seine KI für Belange der nationalen Sicherheit zu nutzen. Vor kurzem entschied sich Meta, eine Llama-Version nicht in der EU auf den Markt zu bringen – wegen Befürchtungen, den EU-Regularien nicht gerecht zu werden.

Llama 4: Zehn mal so viel Rechenleistung erwartet

Bei der kommenden Llama-Generation 4 rechnet Mark Zuckerberg mit einer Verzehnfachung der benötigten Rechenleistung, um die Modelle zu trainieren. Die Fertigstellung von Llama 4 wird im Jahr 2025 erwartet.

(nen)