AMDs Instinct MI325X kommt mit 288 GByte HBM3e-RAM

Man kann es gar nicht oft genug schreiben: Der Markt für KI-Modelle ist in rasanter Entwicklung. Darum sind auch Neuentwicklungen oder Upgrades bestehender Beschleuniger für KI-Training und -Inferencing überall zu finden.

AMD geht mit dem KI-Beschleuniger für Rechenzentren, der Instinct MI325X, daher auch diesen logischen Schritt. Die gerade im Dezember 2023, also vor einem halben Jahr vorgestellte MI300-Generation bekommt durch den Schritt zu modernerem Stapelspeicher des Typs HBM3e nun viel mehr Speicherkapazität und auch eine etwas höhere Speichertransferrate. Die MI325X passt in dieselben Boards und Rackeinschübe, wie ihre Vorgängerin, wie AMD-Chefin Dr. Lisa Su in ihrer Computex-Keynote versprach, und soll im Achterverbund ein KI-Modell mit einer Billion Parametern laufen lassen können.

Im Vergleich zur MI300X, die AMD derzeit wie geschnitten Brot verkauft, legt die MI325X bei der Speicherkapazität 50 Prozent drauf und kommt auf maximal 288 GByte. Bei der Transferrate ist der Sprung von schon sehr hohen 5,3 auf dann 6 TByte pro Sekunde deutlich geringer. Die Rechenleistung bleibt mit einer Spitzentaktrate von 2,1 GHz unverändert.

Im Vergleich zu Nvidias derzeit marktbeherrschenden, aber schon etwas betagteren Hopper-Chips fällt das Plus deutlich größer aus. Die gibt es bisher nämlich nur mit 141 GByte HBM3e-Speicher und einer Transferrate von 4,8 TByte pro Sekunde als H200. Die Ursprungsversion H100 verwendete noch langsameren und weniger HBM3. Die MI325X ist da also rund Faktor 2 beziehungsweise circa 25 Prozent im Vorteil, wenn man sie kaufen kann.

Die MI325X soll ab dem vierten Quartal 2024 erhältlich sein, also knapp ein Jahr nach dem offiziellen Launch der MI300X und in einem ähnlichen Zeitrahmen wie Nvidias Blackwell-Generation, die gegenüber Hopper ebenfalls deutlich zulegt: Bisher sind 192 GByte HBM3e mit 8 TByte pro Sekunde angekündigt.

Jährliche KI-Kadenz

Der schnellen Entwicklung bei KI-Modellen Rechnung tragend, will AMD von nun an jährlich neue Produkte in der Instinct-Serie bringen. Den Anfang macht 2025 die MI350 auf Basis der neuen CDNA4-Architektur. Diese wird, wie Nvidias Blackwell-Generation, die KI-Datentypen FP4 und FP6 unterstützen. Das sind Gleitkommaformate mit niedriger Genauigkeit und geringem Werteumfang, die aber für manche Aufgaben bei darauf angepassten KI-Modellen ausreichen. Dafür sind sie zumindest im Falle von FP4 um Faktor 2 schneller als bisherige 8-Bit-Datentypen; FP6 kann zumindest helfen, Speicherplatz und -transferrate auch in Caches und Registern einzusparen.

Mit diesen Rechenkünstlern will AMD dann bei angepassten KI-Anwendungen bis zu 35-mal (sic!) so schnell sein, wie die Vorgängergeneration MI300X. Ähnliche Mathe-Kunststückchen verkündete Nvidia bei der Vorstellung der Blackwell-Reihe mit Faktor 30 für ein 1,8-Billionen-Parameter-Modell unter Nutzung von Mixture of Experts, also verschiedenen Genauigkeiten in den einzelnen Stufen des Modells.

Die MI350 wird 3-Nanometer-Technik nutzen, AMD sagte zwar nicht direkt von welchem Hersteller, betonte in der anschließenden Fragerunde aber, wie zufrieden man mit der Zusammenarbeit mit der taiwanischen Chipschmiede TSMC sei. Weiter mit an Bord: maximal 288 GByte HBM3e-Stapelspeicher wie schon bei MI325X.

Für 2026 ist dann die MI400-Reihe geplant, die die ominös "CDNA next" genannte Architektur nutzt. Damit geht das Rätselraten in eine neue Runde: Was kommt wohl nach CDNA4?

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier ein externer Preisvergleich (heise Preisvergleich) geladen.

Preisvergleiche immer laden Preisvergleich jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (heise Preisvergleich) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

(csp)