Wie ExecuTorch KI auf mobile Endgeräte bringt
Die begrenzten und zudem höchst unterschiedlichen Fähigkeiten von Smartphones machen die App-Entwicklung mit lokalen KI-Modellen zu einer kniffligen Aufgabe.
- JĂĽrgen Schuck
Ein Modell fĂĽr eine spezielle Aufgabe zu finden oder per Feintuning dafĂĽr zu trainieren ist mittlerweile relativ einfach. Portale wie Hugging Face, eine Art GitHub fĂĽr maschinelles Lernen, stellen vortrainierte Modelle bereit, die beispielsweise Texte, Audio- und Videodaten verarbeiten.
Es gibt gut dokumentierte Frameworks für das Training neuer oder zur Spezialisierung vorhandener Modelle mit eigenen Datensätzen. Nach dem Training erhält das fertige Modell eine REST-API und kommt auf einen Server.
- Das Framework ExecuTorch führt KI-Modelle auf mobilen Endgeräten und Edge-Devices aus.
- Modell- und App-Entwicklung werden in Python oder den gerätetypischen Programmiersprachen durchgeführt.
- Die Laufzeitumgebung exportiert eine C++-API fĂĽr die Entwicklung von Apps.
- Zum Austausch ausfĂĽhrbarer KI-Modelle definiert ExecuTorch ein spezielles Dateiformat.
Damit sind Apps, die das Modell verwenden, für beliebige Endgeräte ohne spezifischen Entwicklungsaufwand realisierbar; die einzige Voraussetzung zur Kommunikation mit dem Modell ist eine Netzwerkverbindung zwischen Endgerät und Server. Ein bekanntes Beispiel ist die ChatGPT-App, die über eine API auf Modelle und Server von OpenAI zugreift.
Das war die Leseprobe unseres heise-Plus-Artikels "Wie ExecuTorch KI auf mobile Endgeräte bringt". Mit einem heise-Plus-Abo können Sie den ganzen Artikel lesen.
