Wasser direkt und indirekt: Exoscale testet Diggers neue Kühlung fürs RZ

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

Don’t show this again.

Komplett ohne externe Luftkühlung auskommen, dabei bis zu 98 % der Serverabwärme nutzbar machen und zugleich 50 % des Kühlaufwands sparen will der österreichische Kühlungsspezialist Diggers. Dazu kombiniert er eine Chip- und eine Schrankkühlung in einem geschlossenen System.

In den bisher vorgestellten Systemen von der Größe eines halben Serverracks passen vier gehäuselose Server mit je zwei CPUs und je drei GPU-Modulen. Zwei Schränke oder Boxen lassen sich übereinander anordnen. Jede Box bildet ein in sich geschlossenes System und besitzt einen eigenen Wasserkreislauf, der an den Sekundärkreislauf angeschlossen ist. Dadurch lässt sich die Schutzklasse bis IP67 erhöhen. Die nutzbare Ausgangstemperatur gibt Diggers mit 50 °C an; Versuche mit höheren Temperaturen waren bereits erfolgreich.

Die Chipkühlung nimmt die Wärme über DLC-Kühlkörper (Direct Liquid Cooling) von den größten Wärmequellen ab. Die Abwärme der anderen Serverkomponenten, die sich nur mit unverhältnismäßigem Aufwand oder gar nicht per DLC kühlen lassen, bringen Wärmetauscher in den Wasserkreislauf. Diese vier Luft-Wasser-Wärmetauscher bilden eine luftdurchlässige Wand hinter den vier Servern und sind mit je zwei Lüftern ausgestattet, die die Luft im Schrank von vorn nach hinten über die Serverkomponenten und durch die Wärmetauscher bewegen.

Mit Vakuumpumpen und Aluminiumkühlkörpern

Durchs Rechenzentrum selbst wird die Wärme dann nur noch über den sekundären Wasserkreislauf bewegt. Doppelböden und eine klassische RZ-Kühlung sind dadurch obsolet. Damit eignen sich die Schränke von Diggers ebenso wie andere Systeme mit geschlossener Schrankkühlung auch für andere Umgebungen, in der IP67-Version auch für raue und Outdoor-Umgebungen.

Eine redundante und gemonitorte Vakuumpumpe reduziert den Druck in den Wasserleitungen, sodass bei einer Leckage Luft in die Leitungen gezogen wird und die Pumpe das Wasser abzieht. Sollte sich ihre Einsatzzeit von typischerweise 2 mal 10 Minuten pro Tag plötzlich erhöhen, löst das zusätzlich einen Alarm aus.

Eine weitere Besonderheit hat sich Diggers bei der GPU-Kühlung einfallen lassen. Die drei GPU-Module sind im Abstand von etwa 10 cm oberhalb der Serverplatine angebracht und mit eigenen großflächigen Kühlkörpern ausgestattet. Die sind aber nicht aus Kupfer, sondern aus Aluminium. Unter anderem ist Aluminium korrosionsresistent und mit geringerem Energieaufwand recyclebar – mit 5 % im Vergleich zum Primäraluminium.

Die Aluminiumkühllörper der GPUs sind fest in den Wasserkreislauf eingebunden. Hingegen sind die Aluminiumkühllörper der CPUs über flexible Schläuche an den Wasserkreislauf angebunden. Künftig sollen auch die CPUs über eine schlauchlose Verbindung integriert werden.

Vom Open Compute Project gelernt

Mit dem Verzicht auf Gehäuse für Server und Netzteile folgt Diggers den Prinzipien des Open Compute Project, das ebenfalls an einem sparsamen Ressourceneinsatz arbeitet und auf das Verschachteln von Gehäusen verzichtet. Auch die Idee, wenige Lüfter mit großem Radius einzusetzen, hat sich bereits bei OCP-Hardware als energiesparend bewährt. In Arbeit ist bei Diggers außerdem ein Modell mit schrankeigenen Netzteilen, die die Server über Stromschienen mit 12 Volt versorgen – ebenfalls ein OCP-Konzept.

Bei den Schrankformaten will sich Diggers flexibel zeigen. Neben den halbhohen Schränken im ganz eigenen Format, die sowohl als Vorführsysteme als auch als Evaluationsmodelle bei Exoscale im Betrieb sind, bietet der Hersteller derzeit auch 19-Zoll-Modelle an. Die Entwicklung weiterer Formate soll auf Anfrage geschehen.

Exoscale, Hoster, Cloud-Provider und Tochter der österreichischen A1 Digital, evaluiert das System derzeit im Rechenzentrum der A1 Telekom in Wien Floridsdorf. Dort arbeitet eine ganze Rackreihe dieser Systeme in einem Raum ohne Doppelboden und RZ-Klimatisierung, verbunden mit der Außenwelt nur über Netz, Strom und Wasserleitungen. Exoscale bestätigt die von Diggers genannten Zahlen zu den Einsparungen.

Ein weiteres Feedback kam derweil vom GenLearning Center an der EPFL (École Polytechnique Fédérale de Lausanne), das die Systeme bei Exascale zwei Tage lang für einen KI-Wettbewerb nutzte: „Alles lief extrem reibungslos, und selbst, als alle gleichzeitig auf die Server zugegriffen haben, gab es keine Aussetzer. Es ist wirklich das erste Mal, dass ich einen Workshop mit Modellen erlebt habe, die am Ende so reibungslos laufen. Die Stabilität und Leistung der GPUs von Exoscale ermöglichte es über 50 Teilnehmern, hochmoderne LLMs ohne Engpässe nahtlos einzusetzen und damit zu experimentieren“, so der Assistant Professor und Co-Head des GenLearning Center Andrei Kucharavy.

Update: Die Box besitzt nicht acht Wärmetauscher, sondern vier Wärmetauscher mit je zwei Lüftern. Außerdem sind nicht die GPU-, sondern die CPU-Kühler über flexible Schläuche an den Wasserkreislauf angebunden. (sun)