Machine Learning: TensorFlow Serving erreicht Version 1.0
Google befindet das System zum Bereitstellen von Machine-Learning-Modellen als stabil genug für den Einsatz in Produktionsumgebungen. Es soll Konzepte der Softwareentwicklung wie Codeverwaltung und Continuous Integration in ML-Umgebungen bringen.
- Rainald Menge-Sonnentag
Gut eineinhalb Jahre nach der ersten Open-Source-Variante ist nun Version 1.0 von TensorFlow Serving erschienen. Das System automatisiert das Bereitstellen und Verwalten von Machine-Learning-Modellen. Bei der Entwicklung haben sich die Macher an Systemen zur Sourcecode-Verwaltung und für Continuous Integration orientiert. Auf die Weise sollen sich neue Experimente und Algorithmen leichter in bestehende Infrastrukturen integrieren lasen, ohne die zugrunde liegende Architektur verändern zu müssen.
Die zentralen Objekte, auf die Clients für Berechnungen zugreifen, heißen "Servables". Sie sind bewusst flexibel gehalten und können ein Modell, ein Modell-Tupel oder nur eine einzelne Komponente wie eine Nachschlagetabelle enthalten. TensorFlow Serving Models bestehen aus einem oder mehreren Servables.
(Bild: Google)
Versionen und Lebenszyklus
Die Verwaltung des Lebenszyklus der Servables geschieht von außen. TensorFlow Serving kann mehrere Versionen von Servables gleichzeitig verwalten, sodass Entwickler und Data Scientists mit unterschiedlichen Varianten experimentieren können. Auch stufenweise Versionswechsel sind auf die Weise möglich. Eine Reihe sortierter Versionen heißen Servable Streams.
Für die tatsächliche Verwaltung in Produktionssystemen kommen zahlreiche weitere Komponenten wie Loaders, Sources und Managers ins Spiel. Details dazu finden sich in der Architekturübersicht zu TensorFlow Serving.
Von der ersten Vorstellung zu Version 1.0
Seit der Vorstellung der Open-Source-Bibliothek haben die Macher das System um zahlreiche Funktionen erweitert. Unter anderem kam ein gRPC Model Server mit einer Predict API hinzu. Laut dem Google-Entwicklerblog nutzt der Internetriese TensorFlow Serving intern in 800 Projekten. Wer den Sourcecode nicht selbst kompilieren möchte, findet zwei Varianten von Binaries, die sich über apt-get installieren lassen. Windows- und MacOS-Nutzer können die auf Linux ausgelegte Software in Docker-Containern laufen lassen.
Mit Version 1.0 setzt TensorFlow Serving zudem auf das TensorFlow-Modell-Format SavedModel. Die vorher genutzten SessionBundle-Modelle gelten damit als deprecated (überholt). Trotz des Namens ist das System übrigens auf TensorFlow-Modelle ausgelegt, mit denen es sich direkt integrieren lässt, aber nicht darauf beschränkt.
Weitere Details lassen sich dem Blogbeitrag entnehmen. Die Macher haben ein Tutorial veröffentlicht, das den Einstieg erleichtern soll. Künftige Versionen von TensorFlow Serving sollen passend zu frischen Releases von TensorFlow erscheinen. (rme)
