Das Open Compute Project – Open-Source-Hardware fürs RZ

An der Stadtautobahn entsteht ein neues Rechenzentrum, das ein Neubaugebiet zukünftig mit Fernwärme versorgt. Sicher eine gute Idee, denn beim Betrieb elektrischer Systeme entsteht Abwärme. Die Frage ist lediglich, wie viel und durch wen?

Power Usage Effectiveness (PUE) ist eine Kennzahl für die Energieeffizienz eines Rechenzentrums. Ideal ist ein PUE-Wert von 1,0. Dann nämlich fließen 100 Prozent der eingebrachten Energie in die IT-Komponenten. Derzeit geistert für Deutschland eine durchschnittliche PUE von 1,8 durch die Medien. Für 2025 wird ein Wert von 1,54 prognostiziert. Wer eine höhere Effizienz erreichen will, muss radikaler denken.

Grund für die schlechte Energieeffizienz sind in der Regel niedrige Räume und einzelne Komponenten, die ein Herunterkühlen auf Temperaturen unter 20 Grad erzwingen. Wenn beispielsweise ein RAID-Controller in einem 1U-Gehäuse die Luftzirkulation ausbremst und sich der Minilüfter des extraflachen Netzteils lautstark quält, ist eine schlechte PUE garantiert.

Dennoch darf man die PUE-Kennzahl nicht mit dem Wirkungsgrad der Komponenten verwechseln. Denn eine Xeon-CPU etwa ist um einiges hungriger als ein ARM-Prozessor. Dadurch können Rechenzentren mit einem schlechten PUE-Wert deutlich sparsamer sein als solche mit guter Kennzahl.

2009 setzte sich Facebook für seine Rechenzentren eine PUE von 1,1 zum Ziel und wählte dazu einen radikal neuen Ansatz, von dem die meisten RZ-Leiter in Deutschland nur träumen dürfen. Statt endlose Diskussionen mit den Vertriebsleitern seiner Vertragspartner zu führen, ließ sich Facebook seine IT-Komponenten maßschneidern.

Dabei war nicht einmal das 19"-Rack heilig. Facebook spezifizierte ein Rack von der Einfachheit eines Baumarktregals mit zentraler 12-Volt-Gleichstromversorgung, einen Server mit optimierter Luftführung und Verzicht auf jeglichen Schnickschnack sowie Storage-Systeme vom Typ KISS – keep it small and simple (siehe Abbildung 1). 2011 entstand daraus das Open Compute Project (OCP) mit dem Ziel, durch die Offenlegung der Spezifikationen möglichst mehrere und damit austauschbare und günstige Hardwareanbieter zu gewinnen.

OCP vergleicht sich gern mit der Open-Source-Software-Bewegung. Jedes OCP-Mitglied kann an neuen Systemen mitarbeiten oder die Spezifikationen anderer nachbauen. Die OCP unterscheidet dabei zwischen Accepted- und Inspired-Produkten: Accepted ist die Lösung des ersten Einreichers, Inspired dessen Nachbau.

Über ihren Erfolg entscheidet der Markt. Ein Prinzip, das sich im Kontext von RFCs (Request for Comment) oder Linux seit Jahrzehnten bewährt hat. Ein Blick auf den Marktplatz unter opencompute.org zeigt, dass sich immer mehr Firmen dieser Idee anschließen und dort ihre OCP-konformen Produkte feilbieten. Inzwischen finden sich auch 1U-Server fürs 19"-Rack, die mit der ursprünglichen Zielsetzung von Facebook nichts gemein haben.

Das etwas andere Rack

Bei gleichen Außenmaßen wie beim 19"-Standard, nämlich einer Breite von 600 mm, nimmt das Open Rack 538 mm, also 21 Zoll breite Blechkästen auf. Auf Schienen und auf die seitlichen Kabelschächte verzichtet das OCP. Überhaupt erinnert das Gestell an ein Baumarktregal in den Abmessungen von 600 × 1067 × 2210 mm³. Eine Höheneinheit ist mit 48 mm etwa 3,5 mm höher als üblich und heißt deshalb OU (Open Rack Unit). Ein feiner Trick, so passen 19"-Einheiten über Adapter auch ins Rack.

Zwei Stromschienen speisen neun doppelt hohe Einschübe unten und 10 doppelt hohe oben. Zur Versorgung mit 12 Volt Gleichstrom sind auf den Ebenen OU11 und OU30 Netzteile verbaut. Ganz oben im Rack ist Platz für einen Netzwerk-Switch. Facebook verlegt die Stromversorgung von oben, wodurch der Serverraum keinen doppelten Boden braucht. Server, Storage und Switch haben ihre Anschlüsse vorn. Auch dies ein Bruch mit etablierter Praxis. Der Zuwachs an Breite und die Standardisierung auf 2 OU ermöglicht eine effizientere Luftströmung, ein Aspekt, der sich wie ein roter Faden durch die Spezifikation der Komponenten zieht.

Server nach OCP-Spezifikation verwenden das 2U3N-Design, das heißt, drei der 2 OU hohen Servermodule haben nebeneinander Platz und lassen sich im laufenden Betrieb austauschen (siehe Abbildung 2). Der Rackeinschub verteilt nur die 12-Volt-Stromversorgung auf die Module. Der Grund: In einem Gehäuse mit 89 mm Höhe und 174 mm Breite lassen sich zwei 80-mm-Lüfter unterbringen. Durch das von Netzteilen befreite Gehäuse kann die kühlende Luft die Komponenten optimal von vorne nach hinten umströmen, wobei die Ansaugtemperatur maximal 30 Grad betragen darf. Alle Anschlüsse, die wenigen Bedienelemente und Zustands-LEDs befinden sich auf der Vorderseite. Auf dekorative Bleche verzichten die OCP-Designer bewusst.

Die Spezifikation des Motherboards ist an Klarheit kaum zu übertreffen (siehe Abbildung 3). Ein Intel PCH (Platform Controller Hub) und zwei Xeon-CPUs mit jeweils vier DIMM-Steckplätzen links und rechts neben sich sind hintereinander angeordnet. Der Kühlkörper der hinteren CPU überragt den vorderen Kühlkörper. Der PCH bedient die sekundäre Peripherie, also die Kanäle zu M.2- und SATA-Slot, USB- und VGA-Port. Er ist mit einem BMC-Chip von Aspeed gekoppelt, der die Fernwartung per Open­BMC übernimmt. Kurzum: Das Blockschaltbild umfasst gerade einmal vier zentrale Chips. Die Netzwerkkarte wird über eine Riser-Karte liegend montiert und per PCIe von der CPU bedient. Bei Bedarf findet sich vorn im Gehäuse Platz für SSDs oder NVMe-Drives.

Storage mit KISS

Facebook hat zwei Storage-Spezifika­tionen in das OCP eingebracht. Bryce Canyon ist ein NAS (Network Attached Stor­age) mit bis zu 72 Festplatten, Lightning ein SSD-­Speichersystem mit 30 Steckplätzen, dessen Design mit den Konventionen bricht. Der 2 OU hohe Rahmen verwendet sechs 80-mm-Lüfter und die 12-Volt-Versorgung des Racks. Er nimmt zwei Schubladen einfacher Höhe auf. Eine Schublade enthält drei Reihen mit jeweils fünf Buchten.

Eine Bucht verfügt über einen Hot-­Plug-fähigen NVMe-Stecker vom Typ SFF-8639, auch als U.2 bekannt. Sie lässt sich wahlweise mit einer 2,5" breiten, 7 oder 15 mm hohen PCIe-3.0-x4-SSD oder über einen Adapter mit zwei M.2-SSDs mit je einem PCIe-3.0-x2-Port bestücken. Laufwerke und Adapter werden ohne Verschraubung in einen Träger geschoben und mit einer Lasche fixiert.

Das mechanische Design baut auf die Konstruktion des Facebook-Open-Vault-Storage aus dem Jahre 2013 auf. Anders als das SAS-Design des Vorgängers verwendet Lightning pro Schublade einen PCIe-Switch. Ein Server benötigt eine PCIe-Re-Timer-Karte, die über vier Mini-SAS-HD-Kabel mit dem Storage kommuniziert. Ein Kabel darf dabei eine Länge von 1,5 Metern nicht überschreiten (siehe Abbildung 4).

In der Praxis bestückt man einen Facebook-Server mit dieser Zusatzkarte und verkabelt ihn auf der Rack-Vorderseite vierfach mit einem einige Stockwerke höher verbauten Storage. Man kann die Storage-­Schublade im laufenden Betrieb herausziehen und SSDs tauschen. Dazu ist ihre Stromanbindung auf einer gelenkigen Führungsschiene fixiert. Aufgrund der störenden Kabelage empfiehlt es sich, den Speichereinschub oberhalb des Servers zu platzieren.