Tutorial Deep Learning: Einsatz des trainierten Modells auf der Zielhardware

Der Weg trainierter Modelle auf die Zielsysteme fällt mitunter sehr verschieden aus. Entwickler müssen vor allem auf die Leistung und den Stromverbrauch achten.

Artikel verschenken
In Pocket speichern vorlesen Druckansicht
Deep-Learning-Tutorial: Einsatz des trainierten Modells auf der Zielhardware
Lesezeit: 17 Min.
Von
  • Ramon Wartala
Inhaltsverzeichnis

Die letzten beiden Teile dieses Tutorials haben viel über die Auswahl und die Beschaffung geeigneter Daten und ihre Aufbereitung für das Training von Deep-Learning-Modellen für die Objekterkennung erklärt. Dabei haben Entwickler anhand von Python und dem frei verfügbaren Google Colab gesehen, wie sich die Daten innerhalb einer Jupyter-Notebook-Umgebung nutzen lassen und wie sich die Trainingszeit durch Hardwarebeschleunigung verkleinern lässt.

Notebooks und Colab stehen hierbei stellvertretend für die Werkzeuge, mit denen man derzeit Machine-Learning-Modelle entwickelt und trainiert. Die Cloud eignet sich hervorragend als Trainingsplatz, was nicht nur daran liegt, dass alle großen Cloud-Anbieter Notebookumgebungen bereitstellen, sondern sich diese on demand skalieren lassen. Wenn absehbar ist, dass ein Modelltraining auf der gebuchten Hardware mehrere Tage in Anspruch nimmt, können Entwickler in der Cloud mit größerer Hardware die Trainingszeit verkürzen.

Bleibt die Frage, wie man trainierte Modelle auf die eigentlichen Zielsysteme bekommt. Dieser Schritt ist in vielen Anwendungsszenarien nötig, da nicht überall potente Grafikkarten aus Serverhardware zur Verfügung stehen. Heute finden sich die meisten Deep-Learning-Modelle bei mobilen Endgeräten, Industrierobotern oder PKWs. Diese Anwendungen laufen auf beschränkter oder zumindest spezialisierter Hardware. Besonders in mobilen Systemen ist der Stromverbrauch von entscheidender Bedeutung. Im Gegensatz zu GPU-Modulen in Servern, die schnell mehrere 100 Watt für den Betrieb benötigen, müssen mobile Geräte den Koeffizienten aus Leistung und Energieverbrauch, also die Anzahl GPU-Kerne zur Leistungsaufnahme in Watt optimieren.