Mistral AI: Milliarden wert und neues KI-Modell am Start

Inhaltsverzeichnis

Das französische Unternehmen Mistral AI ist erst Anfang des Jahres gegründet worden. Seither konnten sie gleich zweimal Millionenbeträge von Investoren einsammeln. Außerdem veröffentlicht Mistral AI sein neues Sprachmodell Mixtral 8x7B. Dazu gibt es einen API-Service.

Mistral AI sitzt in Paris und gilt als eine der beiden großen europäischen Hoffnungen im Bereich Künstliche Intelligenz – neben dem Heidelberger Unternehmen Aleph Alpha. Das Unternehmen wird von ehemaligen KI-Experten von Meta und Google geleitet. In einer aktuellen Finanzierungsrunde konnten die Franzosen nun 385 Millionen Euro einsammeln. Erst im Sommer hatte Mistral AI mehr als 100 Millionen Euro bekommen. Der Wert von Mistral AI wird deshalb inzwischen auf rund zwei Milliarden Euro geschätzt. Zu den Investoren gehören die Wagniskapitalfirma Andreesen Horowitz, die aus dem Silicon Valley kommen und entsprechend vornehmlich auch dort investieren.

Ein weiterer Großinvestor ist Lightspeed Ventures, die offensichtlich ihren Anteil verdoppelt haben. Auf ihrer Webseite schreiben sie von einer Doppelung in einem französischen Kartenspiel und mehr Punkten, wenn man den König und die Dame paart. Außerdem heißt es: "Wir haben eine unerschütterliche Überzeugung, visionäre Gründer mit ehrgeizigen Ideen zu unterstützen, und können ganz sicher sagen, dass wir diese Art von Team in Mistral gefunden haben."

La plateform und Mixtral 8x7B

Mistral bringt gleich zwei Neuigkeiten auf den Markt: Zum einen startet die Beta der hauseigenen KI-Plattform la plateforme, zum anderen stellt das Unternehmen das neue Modell Mixtral 8x7B vor. La plateforme ist als Chat-Endpunkt für drei Varianten von Mistrals KI-Modellen konzipiert und soll sich bei UI und UX (Bedienoberfläche und Nutzererfahrung) an den Chat-Interfaces der Konkurrenz orientieren. Auf der Plattform finden sich die Modellvarianten Mistral-tiny, Mistral-small und Mistral-medium. Mixtral 8x7B hat der Entwickler dabei direkt in der small-Variante eingebunden.

Mistral-tiny basiert auf Version 0.2 von Mistral 7B Instruct, dessen Version 0.1 unter Apache 2.0 Lizenz steht und beim Release einen guten Eindruck auf Hugging Face hinterließ. Das kleinste der drei Modelle versteht nur die englische Sprache. In Mistral-small steckt das neue Mixtral 8x7B Modell, das ein Sparse-Mixture-of Experts-Modell (SMoE) ist. Dahinter verbirgt sich ein reines Decoder-Modell, bei dem der Feedforward-Block Eingabetoken nicht an alle Parameter verteilt, sondern eine von acht verschiedenen Parametergruppen auswählt.

Hinter den Parametergruppen verbergen sich die Experten im Namen des Verfahrens. In jeder Modellschicht wählt ein Routernetzwerk für jedes Token zwei dieser Gruppen aus, die ihre Ergebnisse dann kombinieren. Mixtral verfügt insgesamt über 45 Milliarden Parameter, nutzt pro Token jedoch nur jeweils 12 Milliarden und soll damit in Geschwindigkeit und Kosten mit Modellen mit insgesamt 12 Milliarden Parametern vergleichbar sein. Mistral-small versteht Englisch, Französisch, Deutsch und Spanisch und wurde mit Daten aus dem Internet trainiert – hier schweigt sich Mistral wie gehabt über die Details aus.

Zugang nur nach Registrierung und Wartezeit

Bleibt noch Mistral-medium: Das größte der drei Modelle befindet sich noch im Prototyp-Stadium und soll mit den größeren Modellen der Konkurrenten mithalten können. In den von Mistral gezeigten Benchmark-Ergebnissen schneiden die Varianten small und medium etwa so gut ab wie GPT 3.5. Auch Mistral-medium soll mit Englisch, Französisch, Deutsch und Spanisch umgehen können. Zusammen mit la plateforme kommen Bibliotheken für Python und JavaScript, die das Abfragen des API-Endpunkts ermöglichen.

Interessenten können sich bei Mistrals la plateforme registrieren und kommen dann auf eine Warteliste, der direkte Zugang ist nur bei einer Einladung möglich. Nach Kontakt mit dem Kundenservice kann der, je nach Unternehmen, den Zugang beschleunigen.

Mistral und der AI Act

Mistral hatte sich politisch stark eingebracht. Arthur Mensch, Mitbegründer des Unternehmens, postet regelmäßig auch öffentlich bei X, welche Erwartungen sie an den AI Act haben: nämlich eine freiwillige Selbstregulierung von Basismodellen. Er spricht sich zwar für Teile des AI Acts aus, so halte er es für wichtig und richtig, dass KI im medizinischen Bereich kontrolliert wird. Die gleichen Maßstäbe aber für Software anzusetzen, die dem Entertainment diene, halte er aber für falsch. Sprachmodelle beziehungsweise Basismodelle wären demnach Unterhaltungs-Software. Konkret sagt Mensch auch, Basismodelle sollten nicht reguliert werden, da man keinen "einsatzlosen Motor" regulieren sollte. "Wir regulieren auch nicht die Programmiersprache C, weil man damit Malware entwickeln kann."

Mensch sagt außerdem, Open-Source sei die sicherste Möglichkeit, KI-Modelle zu entwickeln, da man sie so am besten kontrollieren und prüfen könne.

(emw)