Deep-Learning-Modelle mit TensorFlow Serving integrieren
TensorFlow Serving stellt Machine-Learning-Modelle schnell, flexibel und vor allem performant in Produktionsumgebungen bereit.
- Mark Keinhörster
Dank moderner Frameworks wie TensorFlow und Keras haben Deep-Learning-Methoden mittlerweile den Weg aus der Forschung in die Industrie gefunden. Sie werden beispielsweise dafür verwendet, natürliche Sprache zu verarbeiten, Objekte zu erkennen oder das Wetter vorauszusagen.
Eines der meistgenutzten Frameworks für Deep Learning ist Keras, ein High-Level-API für neuronale Netze, das TensorFlow als Backend für verteilte Berechnungen nutzen kann. Durch das einfache API und den modularen Aufbau lassen sich in Keras schnell funktionale Prototypen für eine Vielzahl von Netzarchitekturen definieren und trainieren. Doch Machine-Learning-Modelle werden heute nicht mehr nur für einmalige Analysezwecke genutzt – in Anwendungen ersetzen sie oft statische Regelwerke oder Algorithmen. Daher stellt sich die Frage, wie sich trainierte Modelle in Anwendungen integrieren lassen.
Während es im Big-Data-Bereich bereits Frameworks wie Apache Airflow oder Luigi von Spotify gibt, die eine robuste Verarbeitung in großen Batches ermöglichen, muss man neuronale Netze in Anwendungen anders integrieren. Hier werden Modelle nicht periodisch aus Batch-Jobs angewendet, sondern live als Aufruf in der Applikation. Um diese Art der Integration zu erleichtern, hat Google TensorFlow Serving entwickelt. Mit dem integrierten ModelServer lassen sich TensorFlow-Modelle mit wenig Aufwand bereitstellen und nutzen.
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Proxmox VE: Was es kann und was man dafür braucht
Günstiges Display samt Einplatinencomputer für Bastelanfänger im Kurztest
Fremdsprachen lernen: Wie man ChatGPT zum Sprechtrainer aufrüstet
Smart Home: Was der Adminstrator bei der Wartung des Systems beachten sollte
UpdateLadetarife für Elektroautos im Vergleich
Security: Passkeys mit Open-Source-Tools nutzen
Immer mehr Wissen. Das digitale Abo für IT und Technik.
Drei KI-Sprechtrainer im Test: Fremdsprache mit KI lernen
Boox Note Air3 C im Test: Hybrid-Tablet mit farbigem E-Paper-Display
Günstiges Display samt Einplatinencomputer für Bastelanfänger im Kurztest
Smart Generator von Ecoflow im Test
Prepaid, Debit, Credit: Wie Sie die passende Kreditkarte finden