Marktübersicht: KI-Server mit GPUs im Überblick

Inhaltsverzeichnis

Mehr zum Thema Künstliche Intelligenz (KI)

• Warum sich Datenschutzbehörden mit ChatGPT und Co. schwertun
• Künstliche Intelligenz: Benchmarks für generative Sprachmodelle im Überblick
• Marktübersicht: KI-Server mit GPUs im Überblick
• Künstliche Intelligenz: teuer, US-amerikanisch, Big-Tech-dominiert
• PyTorch: Eigene Bildgenerierungs-KI mit Python bauen
• Website per KI hacken: Browser-Skripte mit ChatGPT und Co. generieren
• Trend-Beruf: Mit diesen Fähigkeiten wird man KI-Experte
• Transkriptionsdienste: Whisper V3 im Vergleich mit Online-Diensten
• Projekt noFake trainiert Datenmodelle für Faktenchecks
• Lokale KI verschlagwortet Fotosammlung auf NAS
• Multi-Agenten-Systeme: Automatisierte Leistungsanpassung für bessere KI
• Fremdsprachen lernen: Wie man ChatGPT zum Sprechtrainer aufrüstet

Wer den Performancehunger seiner KI-Anwender befriedigen will, kommt mit Standardservern nicht sehr weit. Doch selbst wer zu KI-optimierten Systemen greift, die durch viele PCIe-Slots glänzen, wird schnell an deren Grenzen stoßen. Bereits Anfang 2020, noch bevor die KI-Welle durch die Presse schwappte, konnten wir im Labor mitansehen, wie die zwei Xeon-CPUs eines imposant wirkenden Dell PowerEdge DSS8440 (Test) mit seinen vier Höheneinheiten, 12 Lüftern, vier Netzteilen und gut 50 kg kaum in der Lage waren, den Datenhunger der zehn eingebauten GPUs vom Typ Nvidia V100 über PCIe 4.0 zu befriedigen.

Hubert Sieverding

Hubert Sieverding arbeitet nach langjähriger Tätigkeit in der Automobilbranche als freier Autor.

In den letzten vier Jahren ist PCIe doppelt so schnell, die Server sind nochmals größer geworden und der Energiebedarf weiter gestiegen – doch am Engpass zwischen CPU und GPU hat sich wenig geändert. Abhilfe schaffen sollen neue Protokolle und Interfaces wie OAM (Open Application Model) oder die Integration der CPU mit der GPU unter gemeinsamer Nutzung von schnellem HBM-Speicher (High Bandwidth Memory). Welche Systeme mit diesen neuen Techniken der Markt hergibt, zeigt diese Marktübersicht.

Spätestens seit dem KI-Hype um ChatPGT gibt es keinen Serveranbieter ohne GPU-Server mehr. Namhafte Hersteller, die den Trend seit Jahren verpennt haben, widmen in ihren Werbeaussagen einen Universalserver zum GPU-Server um. Dazu reicht es in der Regel aus, passende Netzteile mit hoher Leistung, etwa 2 × 3000 Watt, kräftige Lüfter und PCIe-Slots für doppelbreite GPU-Zusatzkarten bereitzustellen. Besonders gern greifen Hersteller derzeit zu AMDs CPU Epyc 9004, die die momentan größte Anzahl an PCIe-Lanes bietet. Bei Intels Xeon braucht es gegebenenfalls einen PCIe-Switch – insbesondere, wenn zudem viele NVMe-Laufwerke im Spiel sind. Bietet das 2U-Chassis Platz für zwei nebeneinanderstehende H100-GPUs, stimmt sogar die Werbeaussage "Nvidia H100 Tensor Core GPUs können paarweise NVLinked werden", ohne dass das Systemdesign großartig verändert wurde.

Das war die Leseprobe unseres heise-Plus-Artikels "Marktübersicht: KI-Server mit GPUs im Überblick". Mit einem heise-Plus-Abo können sie den ganzen Artikel lesen und anhören.

Immer mehr Wissen. Das digitale Abo für IT und Technik.

Speicherverbrauch in Mikrocontrollern erklärt

Dieser Artikel erklärt, wo im Arbeitsspeicher (RAM) welche Art von Daten gespeichert werden.

---

Datensicherheit für Solaranlagen: Dem Inverter auf den Zahn gefühlt

Unsichere Balkonsolaranlagen können Daten ins Internet senden. Wir haben dagegen eine Lösung zum Nachrüsten, für die Sie nur ein ESP-Board benötigen.

---

Kamerasensoren erklärt: So wird aus Licht ein Bild

Die Bauart eines Kamerasensors beeinflusst die Bildqualität. Wir erklären, wie, und was das für Ihre Fotos bedeutet.

---

DeutschlandCard, Miles & More, Payback: Welches Bonusprogramm sich lohnt

Bonusprogramme belohnen Ihren Einkauf mit Punkte und Meilen. Ob sich das Sammeln lohnt, hängt auch von den jeweiligen Partnern und den Abkürzungen im System ab.

---

Das deutsche Gasnetz: Was daraus werden soll und was Verbraucher wissen müssen

Erdgas steht vor dem Aus und das Gasnetz vor dem Umbau: In welche Richtung es sich entwickeln kann und was das für die Gaskunden bedeutet.

---

Smartwatches im Vergleich: Huawei Watch Fit 3 und Xiaomi Watch 2

Die Smartwatches von Huawei und Xiaomi kosten unter 200 Euro. Eine trägt sich angenehmer und läuft länger, die andere überzeugt optisch und hat mehr Funktionen.

Immer mehr Wissen. Das digitale Abo für IT und Technik.

Speicherverbrauch in Mikrocontrollern erklärt

Dieser Artikel erklärt, wo im Arbeitsspeicher (RAM) welche Art von Daten gespeichert werden.

---

Datensicherheit für Solaranlagen: Dem Inverter auf den Zahn gefühlt

Unsichere Balkonsolaranlagen können Daten ins Internet senden. Wir haben dagegen eine Lösung zum Nachrüsten, für die Sie nur ein ESP-Board benötigen.

---

Kamerasensoren erklärt: So wird aus Licht ein Bild

Die Bauart eines Kamerasensors beeinflusst die Bildqualität. Wir erklären, wie, und was das für Ihre Fotos bedeutet.

---

DeutschlandCard, Miles & More, Payback: Welches Bonusprogramm sich lohnt

Bonusprogramme belohnen Ihren Einkauf mit Punkte und Meilen. Ob sich das Sammeln lohnt, hängt auch von den jeweiligen Partnern und den Abkürzungen im System ab.

---

Das deutsche Gasnetz: Was daraus werden soll und was Verbraucher wissen müssen

Erdgas steht vor dem Aus und das Gasnetz vor dem Umbau: In welche Richtung es sich entwickeln kann und was das für die Gaskunden bedeutet.

---

Smartwatches im Vergleich: Huawei Watch Fit 3 und Xiaomi Watch 2

Die Smartwatches von Huawei und Xiaomi kosten unter 200 Euro. Eine trägt sich angenehmer und läuft länger, die andere überzeugt optisch und hat mehr Funktionen.