So soll der neue Standard für Ethernet in KI-Clustern aussehen
Das Ultra Ethernet Consortium (UEC) gibt erste Einblicke in die neue Ethernet-Spezifikation, die eigens für KI-Cluster mit Hochleistungsrechnern gedacht ist.
(Bild: alexskopje/Shutterstock.com)
- Benjamin Pfister
Das Ultra Ethernet Consortium (UEC) arbeitet an der Fertigstellung der 1.0-Spezifikation des Ultra-Ethernet-Standards, der speziell für Hochleistungsrechner (HPC) und künstliche Intelligenz (KI) entwickelt wurde. Im Zentrum steht das UET-Protokoll (Ultra Ethernet Transport), das verschiedene Schichten optimiert, um die Leistungsfähigkeit von KI- und HPC-Workloads zu verbessern.
Insgesamt führt die Spezifikation drei unterschiedliche Profile mit jeweils zugeordneten Teilmengen der vollen Funktionalitäten von UET ein: AI Base, AI Full und HPC. UET nutzt grundlegend RDMA-Mechanismen (Remote Direct Memory Access), wodurch ein Zugriff direkt vom Netzwerk in den Hostspeicher möglich ist und den Kernel des Betriebssystems für optimierte Latenz umgeht. Es bietet außerdem Mechanismen wie "Deferrable Send", eine Technik, die Verzögerungen durch Pufferverfügbarkeitsprüfungen vermeidet. Wenn kein Puffer verfügbar ist, kann der Empfänger den Sendevorgang fortsetzen, sobald dieser verfügbar ist, wodurch die Abhängigkeit von Zeitgebern des Senders verringert wird. UET verwendet zudem keinen Handshake für den Verbindungsaufbau. Die Peers im UET arbeiten mit kurzfristigen Verbindungen für die jeweiligen Transaktionen, die am Ende der Transaktion wieder verworfen werden. Das soll die Skalierbarkeit verbessern und die Kosten verringern.
Zwei Verkehrsklassen und Mechaniken zur Staukontrolle
UET arbeitet zudem mit zwei Verkehrsklassen (Traffic Classes; TCs). Pakete werden TCs und Warteschlangen zugeordnet, um Deadlocks zwischen Antworten und Anfragen in einer verlustfreien Umgebung zu vermeiden. Zu den weiteren Neuerungen gehören effiziente Staukontrollmechanismen, die "Spraying-Verfahren" nutzen, um die Lastverteilung in ECMP-Netzen (Equal-Cost-Multipath) zu optimieren. Auch dynamische Window-Sizes basierend auf der Round-Trip Time (RTT) des Pfades, ECN-Markierungen und eventuellen Paketverlusten können zum Einsatz kommen. Sogenannte In-Network Collectives (INCs), die auch als "Switch-Offloading" benannt werden, können Netzwerkoperationen zur Hardwarebeschleunigung von Endgeräten an Switches auslagern.
Von Beginn an wurden "Security-by-Design"-Ansätze berücksichtigt. Sie basiert auf bewährten Protokollen wie IPSec, aber auch auf dem Open-Source-Projekt PSP. So bietet es AES-GCM, Schlüsselableitungsfunktionen und Schutz vor Replay-Attacken. Aber auch hierbei legten die Protokollentwickler Wert auf eine hohe Effizienz auf Basis von Gruppenschlüsseln innerhalb einer vertrauenswürdigen Umgebung. Auf der Link Layer-Ebene führt UET das Link Layer Retry (LLR) ein, um den Einfluss von einzelnen fehlerhaften Links in einem KI-Cluster zu reduzieren. Bei einer LLR-Verbindung wird jedes Paket beim Absender in einem Puffer gehalten, bis der Empfänger den Empfang bestätigt. Die Unterstützung wird zwischen den Peers über das Link Layer Discovery Protocol (LLDP) ausgetauscht.
Die Spezifikation des Ultra Ethernet Transport Protocols wird einige spannende Neuerungen für KI-Cluster mit sich bringen. Diese werden das Ethernet-Protokoll, das für seine große Flexibilität bekannt ist, noch interessanter für den Einsatz in KI-Clustern machen. Das erkennt man daran, dass das GPU-Schwergewicht Nvidia dem Konsortium nun auch beigetreten ist. Gründungsmitglieder des Konsortiums sind unter anderem AMD, Arista, Broadcom, Cisco, HPE, Intel, Meta, und Microsoft.
(axk)