400.000 Rechenkerne: Cerebras stellt Wafer-großen KI-Chip vor
Das Startup Cerebras hat auf der Hot Chips einen KI-Beschleuniger-Chip mit 400.000 Spezialkernen vorgestellt.
(Bild: c't / Florian Müssig)
- Florian Müssig
Während namhafte Prozessorhersteller sich derzeit von großen monolithischen Chip-Designs verabschieden und stattdessen den Weg hin zu modularen, individuell kombinierbaren Chiplets gehen, hat das Startup Cerebras die entgegengesetzte Richtung eingeschlagen. Um selbst große KI-Modelle unfragmentiert berechnen zu können, hat das Unternehmen einen riesigen Einzelchip entwickelt: Seine Abmessungen entsprechen dem größtmöglichen Quadrat, das man aus einem 300-mm-Wafer schneiden kann.
Auf dem über 46.000 mm2 großen Chip finden über 1,2 Billionen Transistoren Platz. Aus diesen sind nicht nur 400.000 Rechenkerne zusammengesetzt, sondern auch mehr als 18 GByte SRAM-Speicher. Die akkumulierte Speicherbandbreite beträgt 9 PByte/s. Der Chip läuft bei TSMC mit 16 nm Strukturbreite vom Band. Der Chip ist ein vollwertiger Prozessor, der im Unterschied zu vielen anderen KI-Beschleunigern ohne Host-CPU auskommt. Die Rechenkerne arbeiten zu einem gewissen Gruppierungsgrad asynchron – alles andere wäre angesichts der Chipgröße auch sehr verwunderlich gewesen.
(Bild: Cerebras)
Wafer-Scale Computing
Durch die schiere Größe des Chips musste Cerebras Probleme lösen, die bei herkömmlichen kleineren Dice nicht auftreten beziehungsweise praktisch vernachlässig werden können. So erfordert die Herstellung über Belichtungsmasken viele kleine Dice, die voneinander unabhängig sind. An ihren Kanten werden sie üblicherweise aus dem Wafer geschnitten. Der Cerebras-Chip besteht deshalb auch aus etlichen baugleichen Abschnitten, doch statt dass diese zersägt werden, kommen in einem nachträglichen Bearbeitungsschritt Drahtbrücken zur Verbindung hinzu.
Weil man in der Massenproduktion keinen Wafer ohne Defekte fertigen kann, hat Cerebras Redundanzen eingebaut. So gibt es zusätzliche Kerne, die nur dann in das Mesh aufgenommen werden, wenn ein anderer Kern durch einen Defekt unbrauchbar geworden ist. Mechanischem Stress durch thermische Expansion wirkt Cerebras über einen flexiblen Connecter zwischen Silizium und Träger-PCB entgegen.
Schließlich funktionieren ob der Größe weder herkömmliche Kühler noch eine klassische Stromversorgung: Vollflächige Kühler würden bestenfalls den Rand kühlen, während per Kupferfolie zugeführter Strom die Chipmitte nie erreichen würde. In beiden Fällen löst die dritte Dimension die Probleme: Etliche Wasserkühlungen und Stromschienen treffen senkrecht auf die Chipebene.
Offene Fragen
Obwohl der Chip laut Cerebras bereits in eigenen Labors läuft und kundenspezifische Modelle durchrechnet, wollte das Startup noch keine Details zu wichtigen Aspekten wie Stromverbrauch oder Preis bekanntgeben. Vorsichtige Schätzungen beziffern die reinen Herstellungskosten pro Chip auf rund 15.000 US-Dollar und ordnen den Energiehunger im fünfstelligen Wattbereich ein. (mue)
