ML-Compiler-Framework: Apache befördert TVM zum Top-Level-Projekt

Inhaltsverzeichnis

Die Apache Software Foundation (ASF) hat bekannt gegeben, dass Apache TVM ab sofort den Status eines Top-Level-Projekts einnimmt. Das Open-Source-Framework soll Entwicklerinnen und Entwicklern von Machine-Learning-Anwendungen die Voraussetzungen schaffen, ihre Modelle auf beliebiger Hardware (CPUs, GPUs etc.) und spezialisierten Beschleunigern so effizient wie möglich nutzen zu können. Als erstes ASF-Projekt verbindet TVM dabei Soft- und Hardware-Optimierung in einem vollständigen Stack.

Reif für den produktiven Einsatz

TVM geht auf ein 2017 gestartetes Forschungsprojekt der University of Washington zurück, das die ASF im März vergangenen Jahres in ihren Inkubator aufgenommen hat. Mit der Beförderung zum Top-Level-Projekt betont die ASF den mittlerweile erreichten Reifegrad von TVM als Brückenglied zwischen der ML-Entwicklung und dem effizienten Einsatz der Modelle auf den unterschiedlichsten Hardware-Plattformen. Luis Ceze, CEO von OctoML und Professor an der University of Washington, sieht TVM angesichts der wachsenden Akzeptanz und der Anwenderzahlen sogar schon auf dem Weg zum Defacto-Standard.

Apache TVM ist bei zahlreichen Hard- und Software-Unternehmen im Einsatz, die auch zur Weiterentwicklung des Frameworks beitragen – darunter Alibaba Cloud, AMD, ARM, AWS, Facebook, Huawei, Intel, Microsoft, Nvidia, OctoML und Qualcomm sowie in einer Reihe von Universitäten. ML-Modelle lassen sich mit TVM für spezialisierte Hardware kompilieren und in besonders kompakte Runtimes verpacken, die sich unter anderem für mobile Plattformen, Wearables oder Embedded Devices eignen. TVM generiert und optimiert zudem automatisch Tensoroperatoren auf Backends, CPUs, GPUs, Browsern, Mikrocontrollern, FPGAs und ASICs.

Vom ML-Framework zur Zielplattform

Für das Kompilieren von Deep-Learning-Modellen unterstützt TVM die Frameworks Keras, Apache MXNet (incubating), PyTorch, TensorFlow, CoreML sowie DarkNet und weitere Libraries. Das Framework lässt sich für das Python-Prototyping verwenden, ist kompatibel zu MISRA-C und stellt ML-Entwicklern Funktionen wie Block Sparsity, Quantization, Random Forests und Memory Planning zur Verfügung. Produktionsreife TVM-Stacks lassen sich wahlweise in C++, Java, Rust oder Python aufbauen, um die Deep-Learning-Anwendungen auf der gewünschten Zielplattform bereitzustellen.

Weitergehende Informationen zu Apache TVM finden sich in der Ankündigung der Organisation sowie auf der Homepage des Projekts.

Online-Konferenz zu TVM

Vom 2. bis 4. Dezember 2020 findet die dritte Apache TVM and Deep Learning Compilation Conference statt. Interessierte erfahren auf der kostenlos zugänglichen Konferenz alles Wichtige über Trends und den aktuellen Stand in Sachen Kompilierungsoptimierung für Deep Learning.

(map)