Deutschland bekommt zwei Supercomputer mit Nvidia Ampere und Intel Ice Lake-SP
Lenovo baut die beiden Rechenzentren für das Karlsruher KIT und die Max-Planck-Gesellschaft bei München. Kostenpunkt: Zusammen über 35 Millionen Euro.
Renderbild des HoreKa.
(Bild: Karlsruher Institut für Technologie)
Deutschland rüstet zwei weitere Supercomputer auf. Beide ähneln sich bei der verbauten Hardware: Zum Einsatz kommen "Next-Gen-Prozessoren" von Intel – die Angaben sprechen für die nächste Xeon-Serie Ice Lake-SP mit 10-Nanometer-Strukturen – sowie Tesla-A100-Beschleunigerkarten von Nvidia mit neuer Ampere-Architektur.
Das Karlsruher Institut für Technologie (KIT) ist mit Investitionen von über 15 Millionen Euro dabei, die Max-Planck-Gesellschaft in München mit über 20 Millionen Euro. Letztere stellt die Rechenfarm in der Max Planck Computing and Data Facility (MPCDF) in Garching auf. Entsprechend der Ausgaben unterscheidet sich die FP64-Rechenleistung von 17 PetaFlops (KIT) beziehungsweise über 20 PetaFlops (Max-Planck-Gesellschaft). Nach der aktuellen Top500-Liste würden beide Supercomputer zu den weltweit 15 schnellsten Rechenfarmen gehören. Bis zur Fertigstellung im Sommer 2021 gehen jedoch einige weitere moderne Supercomputer mit noch mehr Leistung ans Netz.
[Update, 14.5.20, 17:00 Uhr:] Forscher aus ganz Deutschland können sich um Rechenzeit auf den Supercomputern bewerben. Die Max-Planck-Gesellschaft konzentriert sich auf Grundlagenforschung in den Bereichen Natur-, Bio-, Geistes- und Sozialwissenschaften, das KIT auf Materialwissenschaften, Werkstofftechnik, Erdsystem- und Umweltwissenschaften, Energie- und Mobilitätsforschung im Ingenieurwesen, Lebenswissenschaften sowie Teilchen- und Astroteilchenphysik. [/Update]
(Bild: Lenovo)
Ausblick auf Intel Ice Lake-SP
Im Hochleistungsrechner Karlsruhe (HoreKa) stecken 784 Rechenknoten mit insgesamt 59.356 CPU-Kernen und 240 TByte RAM. Geht man von Dual-Server-Nodes aus, wie sie das KIT auch im bisherigen Rechenzentrum ForHLR II einsetzt, hat ein Prozessor durchschnittlich 37,85 CPU-Kerne. Zieht man traditionell kleiner konfigurierte Login-Nodes ab, dürften die meisten Prozessoren mit 38 Rechenkernen daherkommen. Genau so viele soll die größte Ausbaustufe von Intels Ice Lake-SP erhalten. In gut einem Fünftel der Rechenknoten stecken derweil jeweils vier Tesla-A100-Beschleunigerkarten, insgesamt 740 Stück. Sowohl die Ampere-GPUs als auch Intels Ice-Lake-SP-Prozessoren sollen PCI Express 4.0 beherrschen, sodass eine schnelle Anbindung der Beschleunigerkarten möglich wäre.
Bisher setzte das KIT auf 2520 Xeon E5-2660 v3 mit je zehn Haswell-CPU-Kernen, 84 Zwölfkerner Xeon E7-4830 v3 und 84 GeForce GTX 980 Ti in den Render-Nodes. Das reichte bisher für eine Rechenleistung von 1 PetaFlops in der Spitze – ein Siebzehntel von HoreKa.
x
Die Max-Planck-Gesellschaft hält sich mit konkreten Zahlen noch zurück: In mehr als 1400 Rechenknoten stecken Prozessoren mit über 100.000 CPU-Kernen und insgesamt über 450 TByte RAM. In etwa einem Zehntel aller Nodes stecken Tesla-A100-Beschleunigerkarten. Die Lenovo Data Center Group baut beide Supercomputer und kümmert sich im Fall der Max-Planck-Gesellschaft auch um die fortlaufende Wartung. In beiden Fällen übernimmt der InfiniBand-Interconnect von Mellanox die Kommunikation zwischen den Nodes, seit diesem Jahr eine Nvidia-Tochter.
Warmwasserkühlung
Zum Einsatz kommt eine Wasserkühlung für Prozessoren, RAM und Beschleunigerkarten. Dank der flachen Wasser- anstelle hoher Luftkühler lassen sich die Systeme kompakter bauen und dank niedriger Temperaturen effizienter betreiben. Metallrücktüren mit Wasserdurchfluss an den Racks fangen die Restwärme ab, unter anderem von den Mainboards und Netzteilen.
(Bild: Lenovo)
Die Max Planck Computing and Data Facility setzt auf eine Kaltwasserkühlung, während sich das KIT für eine Warmwasserkühlung mit Flüssigkeitstemperaturen von 50 bis 60 Grad Celsius entschieden hat. Mit Letzterer fällt der Effizienzvorteil der Hardware geringer aus als bei 30 Grad Celsius oder weniger, dafür kostet das Herunterkühlen des Wassers weniger Energie. Zudem lässt sich das Wasser im Winter zum Heizen anliegender Büros zweitverwerten.
[Update, 15.5.20, 14:00 Uhr:] Korrektur zur Max Planck Computing and Data Facility (MPCDF), die auf eine Kalt- statt Warmwasserkühlung setzt. (mma)
