NVLM 1.0: Nvidia veröffentlicht eigenes Open Source LLM
NVLM 1.0 ist eine Sprachmodell-Familie, die es laut Nvidia mit GPT-4o aufnehmen kann. Die Modelle sind multimodal und Open Source.
(Bild: Konstantin Savusia/Shutterstock.com)
Nvidia veröffentlicht eine eigene Familie an Large Language Models (LLMs). NVLM 1.0 wird angeführt von einem 72B Parameter Model mit dem Namen NVLM-D 72B. Dieses soll es mit OpenAIs GPT-4o aufnehmen können. Dabei investiert Nvidia auch direkt in OpenAI und befeuert damit die eigene Konkurrenz.
NVLM wird von Nvidia Open Source zur Verfügung gestellt – sowohl Gewichte als auch der Trainings-Code werden via Megatron-Core zur Verfügung gestellt. Das ist Nvidias Open-Source-Bibliothek.
In den Benchmarks, deren Ergebnisse Nvidia in einem Blogbeitrag veröffentlicht hat, schneidet NVLM-D 72B durchgehend ähnlich gut ab, wie die aktuellen Versionen von Metas Open-Source-Modell Llama, sowie die geschlossenen Modelle OpenAI GPT-4o, Anthropic Claude und Google Gemini. "Die Ergebnisse zeigen, dass der NVLM 1.0 sowohl bei Vision als auch reinen Textaufgaben eine mit führenden Modellen vergleichbare Leistung erzielt", schreibt Nvidia. Bei den Matheaufgaben hat das Model zum Teil sogar besser abgeschnitten als GPT-4o. Auch nach dem multimodalen Training hat NVLM-D 72B seine Leistung bei reinen Textaufgaben beibehalten oder sogar verbessert. Es ist ein häufiges Problem, dass Modelle nach multimodalem Training bei reinen Textaufgaben schlechter werden.
Das Nvidia-Modell zeige eine gute Fähigkeit bei der Befolgung von Anweisungen. Es könne auch eine sehr "hochwertige, detaillierte Beschreibung des vorgegebenen Bildes" erzeugen, schreibt Nvidia.
Konkurrenz auf dem Open-Source-KI-Markt
Erst vor wenigen Tagen wurde bekannt, dass Nvidia direkt in OpenAI investiert – rund 100 Millionen US-Dollar. Insgesamt erhält OpenAI 6,6 Milliarden US-Dollar. Größter Geldgeber ist ein New Yorker Wagniskapitalgeber namens Thrive Capital. Auch von Microsoft kommt freilich wieder frisches Geld – etwa eine Milliarde US-Dollar. Dafür verlangen die Investoren, dass die Gemeinnützigkeit des Unternehmens gegen neue gewinnorientierte Strukturen ausgetauscht wird. Dennoch steht es um die Finanzen von OpenAI schwierig, klar ist, dass die Einnahmen die Ausgaben nicht decken.
Neben Nvidia bietet vor allem auch Meta die eigenen KI-Modelle Open Source an. Mark Zuckerberg selbst betont wiederholt, dass er Open Source als einzig gangbare Möglichkeit sieht, dass sich KI entwickelt und ein ganzes Ökosystem entsteht. An diesem möchte er freilich beteiligt sein. Mit Nvidia ist nun ein Konkurrent auf diesem KI-Open-Source-Markt aufgetreten. Zuckerberg sagt auch, dass Meta es sich leisten könne, die eigenen Modelle frei zugänglich anzubieten, weil sie andere Einnahmequellen haben. Das gilt ebenfalls für Nvidia, die mit ihren KI-Chips viel Geld einnehmen. Und die schlussendlich auch profitieren, wenn OpenAI mehr von diesen Chips benötigt.
(emw)
