Machine Learning: PyTorch Live als Beta gestartet

Inhaltsverzeichnis

Der kürzlich in Meta umbenannte ehemalige Facebook-Konzern hat PyTorch Live als erste Beta-Version veröffentlicht. PyTorch Live ist eine auf PyTorch Mobile und React Native aufsetzende Bibliothek aus Tools, die zum Erstellen mobiler Anwendungen mit Machine-Learning-Funktionen dienen sollen. Ein integriertes CLI-Tool übernimmt die automatisierte Installation.

PyTorch Live besteht aus drei Komponenten: Das auf GitHub zu findende Monorepo beherbergt das CLI-Tool torchlive-cli, ein React-Native-Paket zum Ausführen von On-Device-Inferenz mit PyTorch Mobile und ein React-Native-Template zum Deployment auf mobilen Geräten.

Bilderkennung in Echtzeit

Neben Beispielen in der PyTorch-Live-App, die nach erfolgreicher Installation in einem Emulator oder auf einem Android-/iOS-Device läuft, hält die Website des neuen Tools Tutorials parat. Eines davon befasst sich mit Bildklassifizierung und zeigt, wie sich eine Anwendung entwickeln lässt, die mithilfe eines On-Device-Bildklassifizierungsmodells Objekte erkennen kann. Dazu kommt die Kamera des Android- oder iOS-Gerätes zum Einsatz.

Die Bilderkennung lässt sich entweder auf statische Bilder nach Drücken des Auslösers (onCapture) oder in Echtzeit (onFrame) in Form einer Frame-by-Frame-Verarbeitung anwenden, während die Smartphone-Kamera geschwenkt wird. In PyTorch Live sind bereits drei Modelle zur Bildklassifizierung enthalten, das Beispiel verwendet mobilenet_v3_small.ptl.

Installationsvoraussetzungen

Ein Tutorial zeigt, wie das in PyTorch Live mitgelieferte CLI-Tool torchlive-cli das Setup weitgehend automatisiert abwickelt. Zu den Voraussetzungen für PyTorch Live zählen unter anderem die Dependencies für PyTorch Mobile und React Native, darunter Python 3.x und ein Java Development Kit, die das CLI-Tool zu beziehen versucht. Allerdings beschränkt sich sein Einsatz in der Beta-Version auf macOS. Unter Windows oder Linux ist die Verwendung von PyTorch Live ebenfalls möglich, jedoch ist dort eine manuelle Installation vorzunehmen.

Als Zielplattform lassen sich Android 10 (API 29) und iOS 12.0 oder höher anvisieren. Nach erfolgreicher Installation läuft die PyTorch-Live-App standardmäßig in einem Emulator, lässt sich jedoch auch direkt auf mobilen Geräten ausführen.

Hintergrund: PyTorch Mobile

Die Tool-Sammlung PyTorch Live steht unter MIT-Lizenz und basiert auf der ebenfalls Open Source verfügbaren Machine-Learning-Bibliothek PyTorch, die vor zwei Jahren ihre Fähigkeiten auf mobile Geräte erweiterte. Deren PyTorch-Mobile-Laufzeit befindet sich weiterhin im Beta-Status und umfasst den kompletten Workflow vom Trainieren eines Modells bis zu dessen Deployment auf Android oder iOS.

Alle weiteren Informationen zu PyTorch Live hält die offizielle Website bereit.

(mai)