c't-Podcast: Verändert DeepSeek jetzt wirklich alles?
Ein Sprachmodell aus China bringt US-Konzerne unter Druck. In "Frauen und Technik" ordnen Svea Eckert und Eva Wolfangel die aktuellen Entwicklungen ein.
- Eva Wolfangel
- Svea Eckert
In den sozialen Medien kursiert ein Meme: "Ich kann es nicht fassen, dass ChatGPT seinen Job an eine KI verliert." Schadenfreude ist wohl eine verbreitete Emotion beim jĂĽngsten Deal aus China: Einem Chatbot, der scheinbar aus dem Nichts kommt und alles kann. Seit das chinesische Sprachmodell DeepSeek mit seiner neuesten Version auf dem Markt ist, kommt selbst OpenAI CEO Sam Altman ins Rudern: SchlieĂźlich kann der chinesische Konkurrent bei OpenAIs Flagship-Modellen mithalten - und das zu einem Bruchteil der Entwicklungskosten. Das jedenfalls behauptet das dahinterliegende Start-up: Das Training soll lediglich 5,6 Millionen US-Dollar gekostet haben: Die US-Konkurrenz von OpenAI, Google und Meta kommt auf das Zehn- bis 20-fache.
Im aktuellen c't-Podcast "Frauen und Technik" ordnen Svea Eckert und Eva Wolfangel die aktuellen Entwicklungen rund um DeepSeek ein. Denn der Zeitpunkt ist in zweierlei Hinsicht interessant: Erstens widerlegt das chinesische Start-up die Narrative der großen US-KI-Anbieter, laut deren mehr Geld, mehr Trainingsdaten und mehr Ressourcen nötig sind, um bessere Ergebnisse zu erzielen.
Diese Wahrheit nur eine Woche nach der Inauguration Donald Trumps zu erschüttern - der ja ebenfalls Milliardeninvestitionen in KI angekündigt hatte - ist ein kluger Schachzug, sagt Svea Eckert: "Man muss das Ganze auch politisch lesen: Das ist sicher kein Zufall." Für den Markt schätzt Eckert die Vorgänge positiv ein: "Endlich kommt Bewegung in den Markt."
Zweitens ist die Diskussion innerhalb der Wissenschaft rund um maschinelles Lernen nun schon seit einiger Zeit an einem Punkt angelangt, an dem viele Fachleute von einem Plateau sprechen: Sie sagen, dass die Transformer-Architektur - auf der die erfolgreichen großen Sprachmodelle aktuell beruhen - an ihre Grenze gekommen ist. Sie skaliert also gerade nicht mehr, weshalb immer mehr Trainingsdaten und immer mehr Parameter zwar den Aufwand massiv erhöhen, aber nicht den Ertrag.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Nun zeigt ein bis dahin unbekanntes chinesisches Start-up, dass einige Änderungen an der Architektur offenbar dazu führen, dass man mit viel weniger Ressourcen und weniger Aufwand auskommt. Allerdings haben Anbieter aus China ein anderes, großes Problem, berichtet Wolfangel: die Zensur-Vorgaben des Staates. "Chinesische KI-Anbieter müssen ganz strenge Tests und Benchmarks erfüllen", sagt die Technikjournalistin. Angesichts der Natur generativer KI - die nicht robust ist und deren Output nicht erklärbar ist - sei es kaum möglich, die Zensur sicher umzusetzen. So dürfen chinesische Chatbots natürlich weder das Regime kritisieren, noch Ereignisse wie das Massaker am Platz des Himmlischen Friedens 1989 diskutieren.
Genau das tut DeepSeek aber immer wieder versehentlich, wie Eckert und Wolfangel mit verschiedenen kreativen Ansätzen getestet haben. In den "Gedanken" des Reasoning-Modells konnten sie in ihren Experimenten beobachten, wie das Sprachmodell genau diese sich widersprechenden Anforderungen mit sich selbst "diskutiert" - einerseits eine Nutzerin, die mehr wissen will über die Repression Chinas gegenüber Oppositionellen und andererseits "sensible Inhalte", über die es sich nicht äußern dürfe.
Bis jetzt, zeigen Eckert und Wolfangel, verschwinden sowohl Gedanken als auch angefangene Antworten, die das Modell offenbar schneller formuliert als die interne Zensur folgen kann, nach Sekundenbruchteilen wie von Geisterhand. Ein anderer Trick funktioniert gut: Mit dem Modell auf verklausulierte Art und Weise über verbotene Themen zu sprechen. DeepSeek findet erfolgreich Metaphern für verbotene Begriffe wie den "Tank Man", jenen unbekannten Studenten, der sich auf dem Platz des himmlischen Friedens vor die Panzer stellte. "Also im Prinzip so ähnlich, wie Menschen in einer Diktatur auch mit Zensur umgehen", sagt Wolfangel: Sie erfinden andere Wörter und sprechen auf eine Art und Weise über Dinge, die alle verstehen - und ohne verbotene Dinge zu sagen.
Ob sich die chinesische Zensur auf Dauer damit zufriedengibt, dass ein Modell zensierte Inhalte ausspuckt und dann schnell wieder löscht, ist eine andere Frage.
"Frauen und Technik" erscheint alle 14 Tage am Mittwoch. Svea Eckert und Eva Wolfangel diskutieren ein Tech-Thema und treffen inspirierende Frauen aus und rund um die Tech-Welt.
Hier können Sie den Podcast abonnieren.
(mond)
