Nach ChatGPT: Facebook-Konzern Meta will mit LLaMA bei Chatbots mitmischen

Der Facebook-Konzern Meta will nach dem Wirbel um ChatGPT ebenfalls bei KI-Chatbots mitmischen. Metas auf künstlicher Intelligenz basierendes Sprachmodell soll Forscher dabei in ihrer Arbeit unterstützen, schrieb Gründer und Chef Mark Zuckerberg in einem Facebook-Beitrag. Die hinter dem geplanten Chatbot stehende Technologie trägt den Namen LLaMA (Large Language Model Meta AI). Ein Meta-Sprecher sagte dem Finanzdienst Bloomberg, das System werde aktuell nicht in Meta-Produkten wie Facebook oder Instagram eingesetzt.

Laut einem am 24. Februar veröffentlichten Paper der Sprachwissenschaftler rund um Facebooks KI-Forscher Guillaume Lample soll LLaMA in den meisten Benchmarks besser als das Sprachverarbeitungsmodell OpenAI GPT-3 und Google PaLM abschneiden. Ein einfaches Code-Beispiel zur Anwendung von LLaMA steht Interessierten unter GPLv3-Lizenz auf Github frei zur Verfügung. Wer LLaMA und die Modelldateien testen will, muss sich über ein Google-Formular für die Modelldaten bewerben – etwa, um den notwendigen Tokenizer, der Sätze in kleinere Bestandteile (sogenannte Token) zerlegt, zu erhalten.

Nach Angaben von Lample verwendet Meta für das Training von LLaMA ausschließlich öffentlich verfügbare Datensätze (etwa Bücher aus Project Gutenberg), sodass die Arbeit "kompatibel mit Open Source und reproduzierbar" sei. Das bereitgestellte Repository als minimales Beispiel für die Verwendung von LLaMA-Modellen gedacht. Mehr als 92 Prozent des LLaMA-Codes besteht aus der Programmiersprache Python.

ChatGPT wurde vom KI-Unternehmen OpenAI entwickelt und Ende vergangenen Jahres veröffentlicht. Inzwischen hatte der KI-Chatbot so schnell wie keine Anwendung die Marke von 100 Millionen Nutzern geknackt. Das animierte zunächst Google mit dem auf LaMDA (Language Model for Dialogue Applications) aufbauenden KI-Chatbot Bard und nun auch Meta dazu, mehr von der eigenen jahrelangen Entwicklung von Sprachmodellen mit der Öffentlichkeit zu teilen. Microsoft ging zudem einen milliardenschweren Pakt mit OpenAI ein. Inzwischen wurde Microsofts Suchmaschine Bing ebenfalls mit einer eigenen Version von ChatGPT aufgerüstet, die für Tester offen steht. Als eine europäische Antwort auf die Initiativen aus den USA und China schickt sich das Heidelberger KI-Start-up Aleph Alpha eigene multimodale Sprachmodelle ins Rennen.

KI-Chatbots werden ausfällig

Chatbots wie ChatGPT von OpenAI wurden mit großen Textmengen darin trainiert, menschliche Sprache zu imitieren. Dabei schätzen sie im Grunde, welches Wort als Nächstes kommen soll. So bilden die Sprachmodelle Sätze und Texte, die auch von einem Menschen stammen könnten. Zugleich zeigte sich in Tests von ChatGPT, dass sich das Programm auf Fragen manchmal Informationen zusammenreimen und im Dialog mit Nutzern unangemessen antworten kann. Microsoft musste daher seinen, auf ChatGPT aufsetzenden, Bing Chat schon kurze Zeit nach der Veröffentlichung wieder an die Leine nehmen,

Lesen Sie auch

Chat-KI: Der Hype wird langsam dumm. Können wir das nicht überspringen?

(mack)