Deepseek V3: chinesische Open-Source-KI mit Zensur
Ein chinesisches KI-Modell soll besonders kostengünstig trainiert worden sein und dabei mit den besten Modellen der US-Konkurrenz mithalten können.
Man kann sich bereits bei Deepseek anmelden.
(Bild: Deepseek)
Das chinesische KI-Modell Deepseek V3 soll in zahlreichen Benchmarks mit den besten Modellen von OpenAI und Google mithalten können. Das Modell ist Open Source – und soll andere frei verfügbare Modelle in der Leistungsfähigkeit übertreffen. Dabei hat die Entwicklung und das Training von Deepseek V3 laut dem Anbieter deutlich weniger gekostet als andere große Modelle. Problematisch ist, dass Deepseek V3 wie auch andere Modelle aus China Inhalte und Antworten zensiert. Das lässt sich mit Tricks zwar umgehen, um zu tricksen, muss man aber wissen, wann das nötig ist – also was eine zensierte Antwort war, die es zu umgehen gilt.
Grundsätzlich ist Deepseek V3 ein Mixture-of-Experts und kommt mit einem Chatbot daher, den man bereits ausprobieren kann. Außerdem lässt sich Deepseek V3 via API einbinden. Mixture-of-Experts bedeutet, dass beim Antworten immer nur einzelne Experten angesprochen werden, die für die Aufgabe geeignet sind. Dem Modell liegen 671 Milliarden Parameter zugrunde. Für das Training habe man, wie der Anbieter auf Github schreibt, nur 2,788 Millionen GPU-Stunden auf Nvidias H800-GPUs gebraucht. Das inkludiert bereits das Finetuning sowie weitere Runden Reinforcement Learning. Dabei lernt ein Modell durch Bestätigung. Der Vorgänger hieß Deepseek R1 und ist auf Reasoning spezialisiert. Ähnlich wie OpenAIs o1 antwortet die KI dabei in Schleifen, überdenkt also die eigene Antwort.
Laut KI-Experte Andrej Karpathy habe man bei Metas freiem Modell Llama 3 für 405 Milliarden Parameter etwa 30,8 Millionen GPU-Stunden benötigt. Er bezeichnet das Budget für Deepseek V3 als einen "Witz" mit rund sechs Millionen US-Dollar. Diese Summe ist nicht von Deepseek bestätigt. Unklar ist auch, woher die Trainingsdaten stammen. Es gibt Vermutungen, sie basieren auf Antworten von ChatGPT. Deepseek V3 antwortet nämlich gelegentlich damit, selbst ChatGPT zu sein.
Gute Benchmarks und zensierte Antworten
Deepseek V3 schneidet in zahlreichen Benchmarks nahezu ebenso gut oder sogar besser ab als andere freie Modelle. Im Mathetest Math-500 erreicht Deepseek V3 90,2 Prozent während es bei GPT-4o lediglich 74,6 sind. Auch kann das chinesische Modell wenig verwunderlich besonders gut Chinesisch sprechen und verstehen. Nicht bekannt sind hingegen die Fähigkeiten, etwa Deutsch zu sprechen. Die Auswahl des Trainingsmaterials ist auch bei den Sprachkenntnissen ausschlaggebend. Wurde ein Modell vorwiegend mit englischen Texten trainiert, wie es bei den großen Anbietern zunächst der Fall war, tun sie sich mit anderen Sprachen – und gegebenenfalls anderen Kulturen – schwer.
Die Benchmark-Ergebnisse hat Deepseek V3 auf der eigenen Webseite veröffentlicht. Es sind also keine unabhängig geprüften Zahlen. Zudem sind solche Tests wenig aussagekräftig darüber, wie nützlich und hilfreich Modelle im Alltag sind.
Problematisch ist zudem, dass Deepseek V3 auf manche Fragen im Sinne der chinesischen Regierung antwortet. Es gibt beispielsweise keine Kritik an dieser. Auch werden Ereignisse auf dem Tian’anmen-Platz von der KI verschwiegen. Dort wurden 1989 Proteste einer Demokratiebewegung blutig beendet. Mit üblichen KI-Tricks bekommt man das Modell dazu, über das Massaker zu schreiben. Wer nicht weiß, dass etwas verschwiegen wird, kann aber nur schwerlich Tricks anwenden, weil er gar nicht weiß, dass etwas fehlt.
Gleichwohl sagt auch Yann LeCun, KI-Experte und Chef bei Meta, dass Deepseek V3 "exzellent" sei.
(emw)
