Intel: Details des Supercomputer-Netzwerks Omni-Path
Intels Omni-Path wird nicht nur in künftigen Rechenbeschleunigern und Xeons integriert sein, sondern lässt sich auch nachrüsten und funktioniert über Switches als HPC-Interconnect ähnlich wie InfiniBand.
Omni-Path-Adapterkarte für einen PCI-Express-Slot: Omni-Path Host Fabric Interface (HFI)
(Bild: Intel)
Auf der heute beginnenden Konferenz Hot Interconnects auf dem Oracle-Campus in Santa Clara hat die ebenfalls dort ansässige Firma Intel den neuen Server-Interconnect Omni-Path im Detail vorgestellt. Bisher war vor allem bekannt, dass die kommenden Knights-Landing-Rechenbeschleuniger (Xeon Phi) in der Version KNL-F mit eingebautem Omni-Path-Adapter kommen sollen und in den nächsten Jahren auch Xeon-Versionen mit Omni-Path Architecture (OPA).
Doch schon auf der Supercomputer-Konferenz ISC im Juli hatte Intel ein Omni-Path Host Fabric Interface (OPA HFI) gezeigt: Eine PCI-Express-Adapterkarte, um Omni-Path bei beliebigen Servern nachzurüsten. Pro Port schafft diese erste OPA-Generation 100 Gigabit/s (OPA 100) – schon mal mehr als InfiniBand (IB) in der Version FDR mit 56 GBit/s, welches Oracle bei kommenden Sonoma-SPARC-Chips integrieren will.
Switches und weniger Latenz
Genau wie InfiniBand lässt sich OPA über Kabel und Switches leiten, etwa um einzelne Cluster-Knoten zu Supercomputern zu koppeln. OPA ist eng mit IB verwandt, Intel hatte ja die Interconnect-Teams von Qlogic und Cray eingekauft. Doch OPA bringt bietet einige sinnvolle Optimierungen insbesondere fürs High-Performance Computing (HPC). Statt diese nun in Absprache mit anderen InfiniBand-Firmen wie Mellanox als offenen Standard in InfiniBand einzubringen, bleibt das Protokoll allerdings proprietär, zumindest erst einmal.
(Bild: Intel)
Insbesondere sind es drei Dinge, die bei Omni-Path geändert wurden. Im Link Transfer Layer 1.5 wurde die Forward Error Correction für das aus 16 kleinen Mini-Päckchen (Flits) bestehende Link Transfer Packet (LTP) durch einen einfachen 14-bittigen CRC ersetzt. Das lässt sich schneller abwickeln und führt so zu kürzeren Latenzzeiten. Im Fehlerfall jedoch muss dann eine aufwendige Wiederholung der Transmission des LTP erfolgen. Laut Intel treten bis zu 3 Meter Kabellänge aber nur äußerst selten Fehler auf, so dass die optimistische Methode deutliche Vorteile bietet.
TFO & QoS
Dann gibt es noch die Traffic Flow Optimization (TFO). Mit ihr kann man Flits aus verschiedenen Messages in ein Link Transport Packet packen und so den Fluss optimieren.
Eine weitere wichtige Änderung betrifft Quality of Service (QoS) im Layer 2. Wenn bei InfiniBand gerade eine längere Message verschickt wird, gibt es keine Chance, dass eine höher priorisierte durchkommt, bevor die laufende Transmission fertig abgearbeitet ist. OPA kann jedoch in solchen Fällen die laufende Transmission unterbrechen. Daneben gibt es noch zahlreiche kleinere Änderungen und neue Routing-Optionen wie adaptives und dispersives Routing. (as)
