Machine Learning: Google stellt TensorFlow Serving vor
Nachdem das Unternehmen im letzten Jahr die Quellen seines Machine-Learning-System TensorFlow veröffentlicht hatte, folgt nun eine Bibliothek zum Ausliefern von Modellen.
- Julia Schmidt
TensorFlow Serving ist eine für Produktivumgebungen ausgelegte Open-Source-Bibliothek für das Machine-Learning-System TensorFlow, mit der sich trainierte Modelle exportieren und an Clients ausliefern lassen sollen. Dabei ist es möglich, sowohl mehrere Versionen eines Modells als auch unterschiedliche Modelle, die sich mit der Zeit durch realen Input ändern, auszuliefern. Dadurch lassen sich wohl Experimente mit unterschiedlichen Algorithmen oder A/B-Tests durchführen, ohne die Infrastruktur anpassen zu müssen.
Darüber hinaus nutzt TensorFlow Serving die Modelle, um Voraussagen auf Grundlage der von den Clients gelieferten Daten zu machen (Inferenz). Außerdem soll sich die Performance eines Modells damit untersuchen lassen. Um den Durchsatz bei Inferenz-Aufgaben zu erhöhen, enthält die Bibliothek einen Scheduler, der entsprechende Anfragen zur gebündelten Ausführung auf der GPU gruppiert.
Das Projekt ist in C++ verfasst und soll auf Linux-Systemen laufen. Im Auslieferungszustand kann es mit den Modellen aus dem Machine-Learning-System TensorFlow umgehen, allerdings soll es durch seine Architektur auch in der Lage sein, mit anderen Modellen oder beispielsweise Lookup-Tabellen und Feature-Transformations-Konfigurationen zu arbeiten.
Detailliertere Informationen lassen sich der Dokumentation entnehmen. Das Serving-System selbst ist unter der Apache-2-Lizenz auf GitHub hinterlegt. (jul)
