Bit-Rauschen: Die Fertigungskapazität für KI-Speicher ist fast ausgebucht
Superschnelles RAM für KI-Chips ist knapp. 200-Kern-Prozessoren sollen auch fürs KI-Inferencing taugen. Interne Dell-Dokumente verraten, was Bauteile kosten.
Leider ausverkauft! Das melden zwei der weltweit drei Hersteller von High Bandwidth Memory (HBM), dem RAM-Typ, den viele der stärksten KI-Rechenbeschleuniger benötigen. Die US-Firma Micron sowie die koreanische Firma SK Hynix haben ihre geplante HBM-Produktion bis weit ins Jahr 2025 verkauft. Die Preise gehen also rauf – diese Nachricht soll Anleger erfreuen. Jeder, der irgendwie kann, will vom KI-Boom profitieren. Laut der taiwanischen Marktforschungsfirma Trendforce machen die teuren HBM-Chips schon rund 30 Prozent des gesamten DRAM-Umsatzes aus.
Beim weltgrößten Chip-Auftragsfertiger TSMC wiederum soll die Kapazität der Hightech-Packaging-Werke ausgelastet sein. Das sind jene Produktionslinien, die die unter anderem von Nvidia und AMD entwickelten und von TSMC gefertigten KI-Chips mit den HBM-Speicherstapeln in gemeinsame Gehäuse packen. Diese Engpässe machen klar: Newcomer auf dem KI-Chipmarkt müssen sich hinten anstellen. Wer jetzt noch keine Fertigungskapazitäten reserviert hat, kann wohl erst ab 2026 größere Stückzahlen liefern. Das Quasi-Monopol von Nvidia bei KI-Chips scheint in Stein gemeißelt.
(Bild: Nvidia)
Wettheizen
Die Supercomputer fürs klassische High Performance Computing (HPC) wirken neben den wahnsinnig teuren KI-Riesenmaschinen wie Taschenrechner. Was sind schon die 500 Millionen US-Dollar Anschaffungspreis und 40 Megawatt (MW) Leistungsaufnahme des Exaflops-Systems Aurora gegen 3,2 Milliarden Euro und mehrere Hundert MW für ein Microsoft-Rechenzentrum im rheinischen Braunkohlerevier? Auf der Supercomputerkonferenz ISC 2024 in Hamburg sprach man über Kühlsysteme, die 100 Kilowatt aus einem einzigen Serverschrank hinausschaufeln. Bleibt zu hoffen, dass der Strom für die KI reicht.
Der Markt der klassischen Server für Firmen (Enterprise) schrumpft seit Jahren, zuletzt aber auch der für "normale" Cloud-Server. Denn die dominierenden Hyperscale-Cloudfirmen stecken ihr Geld in KI-Maschinen. Da suchen die klassischen CPU-Anbieter nach Argumenten. Ampere Computing – deren 192-kerniger Ampere One schon vor einem Jahr angekündigt wurde, aber noch selten zu sehen oder zu mieten ist – meint, dass KI-Inferencing auch auf vielen "kleinen" ARM-Kernen gut und effizient läuft. Das erzählen bestimmt auch AMD (Eypc 9754 "Bergamo" mit 128 Kernen) und bald auch Intel (Xeon 6700E "Sierra Forest" mit 144 E-Kernen, 6900E mit 288 Kernen) potenziellen Kunden.
Auch der von Intel herbeigesehnte "Granite Rapids" mit P-Kernen kommt als Xeon 6, also etwa als 6700P oder 6900P. Was bisher nicht so klar war: Es gibt zwei Leistungsklassen für unterschiedliche Mainboards. Die "SP"-Plattform mit der Fassung LGA4710 bindet acht RAM-Kanäle an, bei LGA7529 (AP) sind es zwölf pro CPU. Während die SP-Typen bis zu 350 Watt verheizen können, sollen es bei AP bis zu 500 Watt sein; nur so sind dann die erwähnten 288 E-Kerne oder bis zu 128 P-Kerne möglich. Damit würde Intel endlich wieder mit den Epycs gleichziehen, vom "Turin" (9005) erwartet man ebenfalls 128 Zen-5-Kerne oder bis zu 192 vom kompakteren Typ Zen 5c. Angeblich sind dafür sogar 550 Watt TDP nötig.
Für kleine Server will AMD außerdem wohl doch noch eine Baureihe Epyc 4004P für AM5-Mainboards bringen, in der eigentlich Ryzen-Technik steckt. Intels Xeon E lässt grüßen.
Man hört auch Gerüchte, laut denen Qualcomm einen neuen Anlauf bei ARM-Serverchips wagen will, und zwar mit den zugekauften "Nuvia"-Kernen, die als Oryons im Snapdragon X Elite/Plus rechnen. Doch das Marktpotenzial scheint zu verdampfen: Nach Amazon (Graviton) haben auch Microsoft (Cobalt) und Google eigene ARM-Serverchips angekündigt. Für die ARM-Serverchips von Ampere bleibt als großer Kunde nur Oracle Cloud übrig sowie einige kleinere oder regionale Anbieter, in Europa etwa Hetzner.
Entschlüpft
Wie aufwendig die Entwicklung eines neuen Notebooks ist und was Komponenten kosten, verrät ein 311-seitiges internes PDF-Dokument der Firma Dell, das bei der Online-Plattform Scribd aufgetaucht ist. Darin geht es um ein XPS 13 mit Qualcomm Snapdragon X Plus. Die ARM-CPU mit zehn Kernen kostet demnach 145 US-Dollar, 48 Prozent weniger als Dell für Intels Core i7-1360P zahlt. Das Mainboard für die ARM-CPU ist aber wiederum teurer und mit einer Thermal Design Power (TDP) von 25,5 Watt braucht sie auch einen Lüfter. Dell bekommt von Microsoft und Qualcomm erhebliche Rabatte für die Windows-Lizenz und auf die Chip-Preise – wie man es auch von Intels "Werbekostenzuschüssen" kennt. Der Konkurrenzkampf zwischen ARM und x86 geht in eine neue Runde.
Zum Bit-Rauschen gibt es regelmäßig auch einen Podcast.
(ciw)
