Adlik Eagle 0.5: Deep-Learning-Modelle schneller produktiv einsetzen

Projekt Adlik hat unter dem Codenamen Eagle Version 0.5 erreicht: Das Open-Source-Toolkit befindet sich im Inkubator der LF AI & Data Foundation, einer Tochter der Linux Foundation, wo es zurzeit seine Bewährungsphase durchläuft. Als Optimierungs-Framework ist es auf Deep-Learning-Modelle ausgelegt und umfasst eine Reihe von Komponenten, mit denen sich trainierte Modelle schneller in den Produktivbetrieb überführen lassen sollen. Das neue Release verspricht dabei laut seinen Herausgebern mehr Tempo und erweiterte Optionen für das Feintuning. Mit Adlik Eagle lassen sich Modelle auf die jeweilige Einsatzumgebung anpassen.

Maßgeschneiderte Deep-Learning-Modelle bereitstellen

Der Modell-Compiler von Adlik Eagle stellt verschiedene Optimierungsmethoden wie Pruning, Quantisierung und strukturelle Komprimierung zur Verfügung, mit denen Entwicklerinnen und Entwickler ihre Deep-Learning-Modelle aus gängigen Frameworks wie TensorFlow (Keras) oder Caffe weiter nachjustieren können, um bei der Inferenz höhere Rechenleistung und geringere Latenzen zu erzielen. Mit Version 0.5 führt das Adlik-Team zum Komprimieren von YOLOv5s-Modellen Support für die Methoden zur Quantisierung und Knowledge Distillation ein. In Verbindung mit der OpenVINO Runtime soll sich die Inferenzleistung solcher DL-Modelle etwa um das Zweieinhalbfache steigern lassen.

Dazu hat das Team unter anderem auch den Model Compiler sowie die Inference Engine von Adlik Eagle auf die OpenVINO-Version 2022.1.0 aktualisiert. Der Compiler ermöglicht Entwicklerinnen und Entwicklern, Modelle aus OneFlow in das ONNX-Format zu übertragen. Die Inference Engine, mit der sich Deep-Learning-Modelle an die jeweilige Bereitstellungsumgebungen im Cloud- oder Embedded-Umfeld sowie an die darunterliegende Hardware (CPU, GPU, FPGA) anpassen lassen, deckt ab Adlik Eagle 0.5 auch die auf wissenschaftliche Berechnungen ausgelegte Open-Source-Bibliothek Torch ab.

Um bereits optimierte Deep-Learning-Modelle zu speichern und für den weiteren Einsatz bereit zu halten, können Adlik-Nutzerinnen und -Nutzer auf ein neues Repository im Model Zoo von Eagle 0.5 zurückgreifen, das nun unter anderen auch ResNet- sowie YOLOv5-Modelle aufnimmt. Ein Überblick aller weiteren Neuerungen im Release findet sich in der Ankündigung der Stiftung sowie in den Release Notes des Open-Source-Projekts auf GitHub.

(map)