KI-Forschung: Karlsruher Institut für Technologie setzt auf Graphcore-IPU-Server

Inhaltsverzeichnis

Das Karlsruher Institut für Technologie (KIT) nutzt in der KI-Forschung die Technologie von Graphcore und öffnet ab sofort seine Ressourcen am Hochleistungsrechner Karlsruhe (HoreKa) interessierten Forschungsprojekten. Die Karlsruher setzen auf den Anbieter, um die KI-Forschung zu beschleunigen, und betreiben nach eigenen Angaben das erste wissenschaftliche Hochleistungsrechenzentrum in Deutschland, das auf Graphcore setzt. Für den europäischen KI-Chiphersteller mit Unternehmenssitz in Bristol, Großbritannien dürfte das einen Meilenstein darstellen.

Dedizierter Zugang zu den KI-Hochleistungsressourcen des KIT

Wer in Deutschland an oder mit Künstlicher Intelligenz (KI) aktiv forscht, kann dem KIT Projekte zur Nutzung der Graphcore-Instanzen einreichen und einen direkten sowie dedizierten Zugang beantragen. Test- oder Komplettprojekte kommen infrage: Projektvorschläge zum Testen, Portieren, Entwickeln oder auch Benchmarking von Anwendungen benötigen zur Genehmigung lediglich einen abgespeckten Prüfprozess.

Umfangreichere Projekte mit einer Rechenzeit von mehreren zehn Millionen CPU-Stunden hingegen prüft das Scientific Steering Committee eingehender, ist der Ankündigung des KIT zu entnehmen. Auf Ressourcen verzichten muss dennoch niemand, der sich dafür interessiert und die grundsätzlichen Kriterien erfüllt: Während die Projektvorschläge die Prüfung durchlaufen, sollen die einreichenden Teams bereits einen vorläufigen Systemzugang für Einrichtungs- und Testzwecke erhalten.

Das Hochleistungsrechenzentrum des KIT ist Mitglied im Verbund Nationales Hochleistungsrechnen (NHR), es bietet Forschenden Supercomputing-Ressourcen und unterstützende Dienstleistungen. Bei der Forschung in Bereichen wie Materialwissenschaften, Medizin, Mobilität, Umwelt und Energie kommen laut den Projektverantwortlichen die schnellsten Hochleistungsrechner der Welt zum Einsatz, um natürliche und technische Prozesse in ihrer Komplexität detailliert zu erfassen.

Hardware auf der Future Technologies Partition testen

In diesem Kontext hat das KIT in Eigenregie auch eine Hardware- und Software-Testumgebung für Forschungsvorhaben und wissenschaftliche Anwendungen geschaffen: Die Future Technologies Partition (FTP) ermöglicht laut Ankündigung den Testbetrieb neuer und innovativer Hardwarearchitekturen sowie -techniken, die in größeren Produktionssystemen überwiegend noch nicht greifbar sind.

Die Intelligence Processing Units (IPU) von Graphcore verfügen laut Hersteller über ein MIMD-Design (Multiple-Instruction, Multiple-Data), das beim Trainieren von KI-Modellen Parallelität über mehrere Dimensionen hinweg erlaubt. Für aufkommende Berechnungsverfahren in der KI wie Sparse Data Structures soll die neue Prozessorarchitektur besser geeignet sein als die bislang genutzten Prozessoren beispielsweise von AMD und Nvidia, da die Datenstrukturen nicht in dichten, zusammenhängenden Blöcken verarbeitet werden.

Graphcore Poplar SDK für KI-Hochleistungsrechner

Die auf die Bedürfnisse von Machine-Learning-Prozessen ausgelegten Graphcore-Prozessoren sollen die zeit- und hardwareintensiven Rechenvorgänge beim Trainieren von KI-Modellen beschleunigen. Das Nationale Hochrechenzentrum am Karlsruher Institut für Technologie (kurz: NHR@KIT) hat ein Graphcore-IPU-POD-16-System installiert, das mit 16 Intelligence Processing Units (IPU) insgesamt vier PetaFLOPs (FP16) an Rechenleistung bietet. Die gesamte Speicherkapazität des Systems beträgt rund 1.000 GByte, wovon 14,4 GByte an prozessorientiertem Speicher bereitstehen. Als Entwicklungsumgebung steht laut KIT das Graphcore Poplar SDK bereit, das alle wesentlichen Machine-Learning-Frameworks wie TensorFlow, PyTorch, PyTorch Lightning, Hugging Face, Keras oder auch PaddlePaddle unterstützt.

Poplar unterstützt BERT (Bidirectional Encoder Representations from Transformers), PopART (die Poplar Advanced Runtime für Training und Inferenz), Modellbildung mit Python und C++ sowie die ONNX-Modelleingabe, zudem unterstützt es HALO (Heterogenity-Aware Lowering and Optimization) und ODLA (Open Deep Learning API) von Alibaba Cloud. Die Poplar-Bibliotheken (PopLibs) sowie die TensorFlow- und PopART-APIs stehen seitens Graphcore als Open Source zur Verfügung. Bestehende KI-Modelle sollten sich angesichts dieser Spannbreite reibungslos von anderen Rechenplattformen auf die neuen IPUs portieren lassen.

KI-Prozessoren von Graphcore auch in der Public Cloud

Graphcore hatte erst unlängst im Bereich Public Cloud von sich reden gemacht: Seit Februar 2022 stehen die Graphcore-Prozessoren auch als Kernstück eines neuen, in Europa angesiedelten öffentlichen KI-Cloud-Dienstes bereit: G-Core Labs betreibt als europäischer Cloud- und Edge-Anbieter laut eigener Website an insgesamt 16 Standorten Public Clouds und rund 25 Rechenzentren, neuerdings auch ein IPU-Cluster am Unternehmenssitz in Luxemburg.

Den Firmenangaben zufolge existieren über 140 Cloud-Präsenzpunkte weltweit. Dabei plant der Anbieter nach eigenen Angaben, seinen IPU-Cloud-Service in Europa, den USA und Asien auszubauen. Anders als bei dem Hochleistungsrechenzentrum des KIT stehen hier nicht primär Forschungsvorhaben im Blickfeld, sondern die Bedürfnisse europäischer Unternehmen aus dem Finanzsektor, dem Gesundheitswesen, der Fertigungsindustrie, darüber hinaus aber auch Großlabore und Forschungseinrichtungen.

Ähnlich wie in Karlsruhe bekennt sich auch G-Core Labs zur Datensouveränität in Europa. Der Anbieter von Cloud- und Edge-Lösungen hatte im Oktober 2021 in Frankfurt am Main einen Public-Cloud-Standort eröffnet und ist damit erstmals in Deutschland vertreten. Seine Cloud-Services nutzen Prozessoren des Typs Intel Xeon Scalable (Ice Lake) der dritten Generation, und zur Absicherung kommt Intel-SGX-Verschlüsselungstechnologie zum Einsatz. Die KI-Plattform stellt als PaaS-Cloud (Platform-as-a-Service) Kunden die für KI-Prozesse erforderliche Infrastruktur von der Software bis zu den Frameworks bereit. Angaben zur genauen Anzahl der Public-Cloud-Standorte von G-Core Labs stehen unter Vorbehalt: Der Anbieter war unmittelbar vor Kriegsausbruch mit über 30 Stützpunkten in der Gemeinschaft Unabhängiger Staaten aktiv (GUS, auf der Website englisch CIS für Commonwealth of Independent States), wovon sich die meisten in der Russischen Föderation befinden, sowie mit dreien in der Ukraine (in Kiew, Kharkiv und Lviv, auf der Website gelistet unter Europa). Eine Landkarte auf der Startseite des Anbieters verzeichnet alle Standorte als aktiv, was die Redaktion nicht überprüfen konnte.

Update-Hinweis: Wie uns die deutsche Pressevertretung von G-Core Lab am 30. März 2022 mitteilte, sind mittlerweile alle russischen Stützpunkte vom Netz genommen worden. Die drei Standorte in der Ukraine, nämlich in Kiew, Kharkiv und Lviv, sind laut Unternehmen weiterhin aktiv. Die Netzwerkkarte auf der G-Core-Labs-Website ist aktualisiert, und in der Länderliste entfällt die Rubrik CIS beziehungsweise GUS (der Filter nach geopolitischen Blöcken oberhalb der Karte wurde ebenfalls entsorgt, wie beim Vergleich der Screenshots vom 24. und 30. März auffällt).

Weiterführende Hinweise

Mehr Informationen zum Hochleistungsrechenzentrum in Karlsruhe bietet die Website des NHR am KIT. Dort lassen sich Details zum Hochleistungsrechner Karlsruhe (HoreKa) aufrufen, zudem bietet das Rechenzentrum Schulungen an. Interessierten und Nutzern steht eine User Documentation zur Future Technologies Partition und zu den eingesetzten GPU- und IPU-Architekturen offen. Wer sich für die KI-Public-Cloud von G-Core Labs interessiert, kann einen Blick auf die Website des Anbieters werfen.

[Update-Hinweis 30.03.2022] G-Core Lab hat zwischenzeitlich die russischen Standorte geschlossen und die Netzwerkkarte zu G-Core-Lab ist aktualisiert. Die Russische Föderation ist nicht mehr Teil des KI-Cloud-Netzwerks.

(sih)