KI für Unternehmen im Komplettpaket: HPE und Nvidia bringen KI-Stack
Auch HPE setzt bei KI verstärkt auf eine Nvidia-Kooperation – wie etliche Mitbewerber. Wie kann sich der Anbieter von ihnen absetzen?
(Bild: HPE)
- Harald Weiss
Nachdem bereits viele große Systemhersteller umfassende Kooperationen mit Nvidia angekündigt haben, hat jetzt auch HPE auf seiner jüngsten Kundenveranstaltung Discover eine weitreichende Zusammenarbeit mit dem KI-Chip-Primus vorgestellt. Unter dem Namen Nvidia AI Computing by HPE wurde ein ganzes Bündel an aufeinander abgestimmter Hard- und Software gezeigt, mit dem der Aufbau und der Betrieb von KI-Infrastrukturen schneller und einfacher gehen soll – eine Art Hyper-Converged KI-Infrastructure. Vermarktet wird das gemeinsame Angebot als KI-Stack.
Nvidia-CEO Jensen Huang erläuterte in der Keynote dessen Ansatz: "KI besteht im Wesentlichen aus drei Teilen: dem Modell, der Computertechnik und den Daten. Letzteres ist das Wichtigste, denn nur darüber kann sich ein Unternehmen von der Konkurrenz abheben." Doch gerade der Datenbereich ist ein Sorgenkind der KI – und zwar nicht nur die erforderliche Datenmenge zum Feintuning eines Modells, sondern vor allem auch die Qualität und die Einhaltung aller Datenschutzvorgaben.
Für jeden einzelnen Stack-Bereich kommen verschiedene Komponenten zum Einsatz. Der Modell-Stack besteht im Wesentlichen aus einer API-Plattform, über die vorausgewählte Public-LLMs eingebunden und individuell angepasst werden können. Für den Betrieb der LLMs steht der Nvidia-Inferenz-Microservice zur Verfügung. Für den Datenbereich kommt Nvidias AI Enterprise zum Einsatz, zu der auch Nvidias NIM gehört. Das dient laut Huang der Vektorisierung, der semantischen Einbettungen und dem Abrufen der Daten. "AI Enterprise beschleunigt und optimiert die Entwicklung und Bereitstellung von Copiloten in Produktionsqualität und anderen GenAI-Anwendungen; es bietet benutzerfreundliche Mikrodienste für optimierte KI-Modellinferenz, die einen reibungslosen Übergang vom Prototyp zur sicheren Produktionsumgebung ermöglichen", sagte Huang über diese Komponente.
Seitens HPE kommt deren AI-Essentials-Software zum Einsatz. Sie umfasst Steuerungs- und Verwaltungsfunktionen, die sicherstellen sollen, dass alle KI-Prozesse datenschutzkonform und transparent sind. Der Compute-Bereich setzt auf HPE Greenlake für die Dateispeicherung und auf ProLiant-Server mit Unterstützung für Nvidia L40S, Nvidia H100 NVL Tensor Core GPUs und Nvidias GH200-NVL2-Plattform. Für die Vernetzung kommt Nvidias Spectrum-X Ethernet hinzu. Das alles lässt sich in einer privaten Cloud on Premises einrichten, doch für die Orchestrierung ist eine Anbindung an die Greenlake-Cloud erforderlich. Hier stellt HPE eine Steuerungsebene bereit, über deren Konsole Administratoren alle Komponenten und Endgeräte des KI-Stacks verwalten und überwachen. Hinzu kommen Automatisierungs-Tools, um deren Aufwand zu reduzieren.
Aber wie will sich HPE von den vielen Mitbewerbern abheben? Gartner-Analystin Julia Palmer meint: "Nvidia AI Computing by HPE ist ein integrierter, aufeinander abgestimmter Technologiestack, der alle Komponenten unter einem einzigen Verwaltungsdach vereint. Das ist nicht einfach, wenn man bedenkt, wie anspruchsvoll die KI-Workloads sind und was da alles zu integrieren ist." Hinzu kommt, dass die HPE-Partner Deloitte, HCLTech, Infosys, TCS und WIPRO bereits angekündigt haben, den neuen KI-Stack zur Entwicklung von speziellen KI-Anwendungen zu nutzen. Mehr Informationen zu der Kooperation und den Produkten finden sich in der Ankündigung.
HPE und Aleph Alpha: erster Großauftrag
Ein Update gab es auf der Discover auch zu der vor einem Jahr angekündigten Kooperation von HPE mit Aleph Alpha und deren Luminous-Modell. Hierzu gab es von einer US-Bundesbehörde einen Großauftrag zur Implementierung generativer KI, bei der es um die Analyse, Konsolidierung und Generierung von Dokumenten geht, die für die nationale Sicherheit von entscheidender Bedeutung sind. "Um diese Anforderungen zu unterstützen, haben wir eine private lokale LLM-Umgebung auf Basis von HPE-Supercomputing- und KI-Technologie implementiert, die die Behörde für Training, Feinabstimmung und Inferenz auf der Grundlage ihrer eigenen Dokumente und Datenbanken verwendet", sagt Jonas Andrulis, CEO und Gründer von Aleph Alpha über dieses Projekt. "Auf diese Weise profitiert die Behörde von den allgemeinen Funktionen des Luminous-Modells, während vertrauliche Daten vollständig privat bleiben", so Andrulis weiter. Auch seitens der Analysten wird das HPE-Aleph-Alpha-Angebot vor allem wegen der Energie-Effizienz gelobt. "Die horrenden Rechenkosten sind ein großes Problem für alle Unternehmen, die GenAI nutzen möchten. Mit Aleph Alpha hat HPE ein LLM gewählt, das von Natur aus effizienter ist als viele andere verfügbare Modelle", lobt Mark Beccue, von der Futurum Group, das Programm der Heidelberger.
(fo)