Colossus ist fertig: Womöglich schnellster Supercomputer der Welt
Der Supercomputer Colossus verwendet 100.000 H100-Beschleuniger von Nvidia. Die Rechenleistung ist enorm, aber auch der Stromverbrauch.
Ein HGX-H100-System von Nvidia. Dell setzt solche in seinem Poweredge XE9680 ein.
(Bild: Nvidia)
Würde xAI seinen Supercomputer Colossus im Linpack-Benchmark durchmessen, dürfte er die Top500-Liste der schnellsten Rechensysteme anführen. Glaubt man dem Gründer Elon Musk, ist Colossus in seiner ersten Iteration mit stolzen 100.000 Nvidia-Beschleunigern vom Typ H100 (Hopper) fertiggestellt und trainiert jetzt das KI-Modell hinter dem Chatbot Grok.
Auf X schreibt Musk, dass der Bau vom Beginn bis zum Abschluss nur rund vier Monate gedauert hat. Für einen Supercomputer dieser Größenordnung ist das ungewöhnlich – insbesondere Fehlerkorrekturen bei der Inbetriebnahme kosten viel Zeit.
Potenziell schnellster Exascale-Supercomputer
Rein rechnerisch kommen 100.000 H100-Beschleuniger auf eine FP64-Rechenleistung von 3,4 Exaflops, also 3,4 Trillionen Rechenoperationen pro Sekunde. FP64-Werte – Gleitkomma-Operationen mit doppelter Genauigkeit – sind der relevante Benchmark in der Top500-Liste. Bei den deutlich simpleren KI-Operationen (typischerweise FP8 oder INT8) wären theoretisch enorme 396 Exaflops möglich. Hinzu käme die Rechenleistung der Prozessoren zur Ansteuerung der Nvidia-Beschleuniger. In der Regel ist das eine CPU pro vier GPUs, hier also 25.000.
Selbst, wenn man eine nicht perfekte Skalierung der unzähligen Hardware-Komponenten berücksichtigt, hat xAI einen, wenn nicht sogar den weltweit schnellsten Supercomputer. Offiziell in der nächsten Top500-Liste taucht er wahrscheinlich aber nicht auf, da private Firmen nur selten Ergebnisse einreichen.
Zum Vergleich: Frontier, Anführer der Top500, kombiniert gut 9000 Epyc-Prozessoren (Zen 3) mit mehr als 37.000 Instinct-MI250X-Beschleunigern von AMD. Das System schafft im Linpack-Benchmark eine FP64-Spitzenleistung von 1,7 Exaflops.
Fraglich ist, wo xAI kurzfristig 100.000 H100-Module herbekommen hat. Nvidia ist weiterhin ausgebucht; jedes Quartal steigt der Umsatz, weil der Zulieferer TSMC seine Produktion ausbaut. Der Dell-Chef Michael Dell lobt öffentlich die Zusammenarbeit beim Bau von Colossus, folglich hatte die Firma ihre Finger im Spiel.
Dell baut unter anderem den Poweredge-Server XE9680, der Nvidias HGX-Standardsystem bestehend aus acht H100-Modulen um einen eigenen CPU-Server aus zwei Intel Xeon SP erweitert. Diese Kombi könnte den Zusammenbau erheblich beschleunigt haben. Alternativ könnte Dell kurzfristig Custom-Systeme gebaut haben. Mindestens ein Teil des H100-Kontingents würde dementsprechend von Dell stammen.
Enormer Strombedarf
Der Hersteller spezifiziert jede H100 mit 700 Watt. Die 100.000 Stück allein kämen somit auf einen Energiebedarf von 70 Megawatt. Hinzu kommen Komponenten wie die Prozessoren und Switches, sowie im erheblichen Maß die Kühlung.
Musk will Colossus in den nächsten Monaten noch um weitere 50.000 H100 und 50.000 H200 mit mehr Speicher erweitern. Spätestens dann schießt die elektrische Leistungsaufnahme deutlich über 100 MW, eher sogar gen 200 MW.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externer Preisvergleich (heise Preisvergleich) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (heise Preisvergleich) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
(mma)
