DeepSeek R1 auf der Nvidia GeForce RTX 5090: Wie es läuft, was es bringt
Das chinesische KI-Modell DeepSeek R1 läuft auch auf PC-Hardware. Wir haben es auf der aktuell schnellsten Consumer-GPU, Nvidias GeForce RTX 5090, ausprobiert.
(Bild: Erzeugt mit Midjourney durch heise online)
Einer der großen Vorteile von DeepSeek ist die Option, das KI-Modell auch lokal verwenden zu können. Anders als bei vielen anderen großen Sprachmodellen (LLMs) ist man hier nicht zwingend auf eine App und die Server des Herstellers angewiesen, um Antworten von der KI zu erhalten. Die notwendigen Daten gibt es frei zum Herunterladen und Weiterverwenden.
Die Benutzung eines – sogar recht effizienten – Modells wie DeepSeek R1 ist auf herkömmlicher PC-Hardware aufgrund des Speicherbedarfs eigentlich nicht sinnvoll. Selbst 1,5 TByte RAM für das volle Modell bedingt keineswegs schnelle Antwortzeiten in unseren Versuchen. Dampft man den Bedarf an Arbeitsspeicher aber weit genug ein, dann läuft DeepSeek sogar auf gewöhnlichen Spieler-Grafikkarten. Und weil deren GPUs eng verwandt sind mit den am häufigsten verwendeten KI-Beschleunigern, sollte die Performance davon in der Theorie profitieren. Um die Grenzen für einen DeepSeek-Chatbot auf dem heimischen PC auszuloten, haben wir uns eine Grafikkarte vom Typ GeForce RTX 5090 mit 32 GByte Speicher geschnappt – mehr geht im Endkunden-Bereich aktuell nicht. Dabei messen wir nicht nur die maximal mögliche Anzahl von Tokens pro Sekunde, sondern schauen auch, wie klein das Modell werden kann, bevor die Antworten unsinnig werden.
Denn um vollständig in den Speicher der Grafikkarte zu passen, muss man das Basismodell DeepSeek R1 massiv verschlanken – also "destillieren". Das bedeutet in letzter Konsequenz einen mehr oder weniger großen Gedächtnisverlust, aber nicht zwangsläufig einen merklichen Verlust grundlegender Fähigkeiten. Wir wollten wissen, was der abgespeckte Chatbot noch kann und wo das Optimum zwischen Geschwindigkeit und Ergebnisqualität liegt.
Das war die Leseprobe unseres heise-Plus-Artikels "DeepSeek R1 auf der Nvidia GeForce RTX 5090: Wie es läuft, was es bringt". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
