HPE und Nvidia liefern das Rack für KI-Training direkt ins Unternehmen
Auf der HPE Discover 2023 kündigte Hewlett Packard Enterprise an, den vollen Stack bereitzustellen, den ein Unternehmen für die eigene generative KI braucht.
Hewlett Packard Enterprise richtet seine Angebote ab 2024 voll auf KI aus. Das kündigte das Unternehmen auf seiner hauseigenen Konferenz HPE Discover an. HPE will damit Firmen ohne eigene Kapazitäten für KI-Arbeitslasten den Zugang zu eigenen generativen KI-Modellen öffnen. Dazu bietet das Unternehmen ein Zusammenspiel der verschiedenen Dienste aus seinem Portfolio als Start- und Betreiberhilfe an und unterfüttert das Angebot mit Rechenpower aus einer Kooperation mit Nvidia, die HPE als Racks zum entsprechenden Unternehmen liefert.
HPE verweist dabei gerne auf den hybriden Cloud-Ansatz seiner GreenLake-Plattform, auf der im Optimalfall alle Daten eines Unternehmens zusammenlaufen – Edge-to-Cloud, wie es der HPE nennt – und eine Data Fabric bilden, die dann für KI-Training genutzt werden soll. Weil das schließlich auch Daten aus On-Prem-Umgebungen und privaten Clouds sein können, wird HPe mit seinem Angebot wahrscheinlich einen besseren Stand in Europa haben, als Hyperscaler, die ebenfalls die eigene KI versprechen. Denn die Kundenunternehmen könnten sensible Daten innerhalb der eigenen Strukturen belassen.
Kraftvolle Racks
„AI will be the most disruptive technology of our lifetime, more disruptive than mobile or Web 1.0“, prophezeit HPE-CEO Antonio Neri zu Beginn seiner Keynote auf der diesjährigen HPE Discover in Barcelona. Er geht davon aus, dass absolut jedes Unternehmen in Zukunft mindestens einen Verwendungszweck für ein eigenes, auf Unternehmensdaten trainiertes KI-Modell haben wird. Und da zurzeit noch die wenigsten Firmen die Kapazitäten in Rechenpower und Personal haben, um das Potenzial der Technologie zu nutzen, positioniert sich HPE nun als Rundum-Sorglos-Dienstleister, der alles dafür Nötige liefert. Damit führt das Unternehmen die Linie fort, die es schon mit dem Erwerb des Supercomputer-Herstellers Cray und der Zusammenarbeit mit dem Heidelberger KI-Spezialisten Aleph Alpha vorzeichnete.
Dafür vertieft der Server- und Cloud-Anbieter seine Partnerschaft mit Nvidia: Er bietet ab dem ersten Quartal 2024 eine Rack-Architektur an, die aus 16 HPE ProLiant Compute DL380a Servern besteht, welche mit insgesamt 64 NVIDIA L40S Grafikkarten, sowie NVIDIA BlueField-3 Data Processing Units und der NVIDIA Spectrum-X Ethernet Networking Platform bestückt sind. Die Geräte sind darauf ausgelegt, Modelle im Umfang des Large Language Models LLaMa-2 nachzutrainieren. Es solle aber eben nicht nur die Hardware geliefert werden, sondern auch alles drumherum – der ganze Stack.
Hilfestellung auf Softwareseite
Dazu gehört das HPE Machine Learning Development Environment, das auch Aleph Alpha nutzte, die Data-Fabric-Software HPE Ezmeral und insbesondere die AI Enterprise Software Suite von Nvidia. Letztere hält das NeMo-Framework und vortrainierte Modelle bereit, sowie Tools für die Datenkuration und Guradrailing – um die gröbsten Halluzinationen zu vermeiden. Auch VMware schlug im August schon in eine ähnliche Kerbe – mit dem Anspruch, Unternehmen ein privates Training von Modellen zu ermöglichen – und hatte dabei ebenfalls Nvidias NeMo-Framework im Gepäck.
HPE kündigte außerdem an, seine GreenLake-Plattform in der ersten Hälfte des Jahres 2024 mit einer Unterstützung von Nvidias GPUDirect und RDMA auszustatten, zusätzlich zu einer Verbindung mit der Quantum-2 Infiniband Netzwerkplattform. Die Performancedichte soll sich außerdem verdoppeln, während sich Kapazitätendichte und Durchsatz auf ein Vierfaches erhöhen sollen.
Die Produkte, die HPE damit als Komplettlösung anbietet, laufen unter dem neu gemünzten Begriff „AI-native“, der in Zukunft wohl häufiger in Verkaufsgesprächen und Produktpräsentationen fallen wird. Gemeint ist damit eigentlich nur, dass die jeweiligen Angebote – die Server-Racks, die Datenplattformen und die Cloud-Dienste – speziell auf KI-Arbeitslasten ausgelegt sind. HPE schwenkt sein Portfolio zurzeit in diese Richtung: HPE Slingshot Interconnect bietet beispielsweise ein Netzwerk, das KI-große Arbeitslasten unterstützt, während die Cray Exascale Supercomputer insbesondere das Zusammenschalten von tausenden GPUs ermöglichen.
Das Unternehmen versucht dabei, die Probleme zu umgehen, die potenzielle europäische Kunden mit anderen Hyperscalern wie AWS oder GCP haben könnten: Die Unternehmensdaten, die zwingend für eigene, generative KI-Applikationen nötig sind – meist sind LLMs im Gespräch, die Auskünfte jedweder Art geben sollen – dürfen natürlich nicht in Public Clouds abfließen. HPE schreibt sich daher die hybride Lösung auf die Fahnen, indem es seine Racks direkt zum Unternehmen liefern kann und dann Unterstützung bei der Modellentwicklung und seinen Softwarestack als Service anbietet.
(kki)
