Machine Learning: TensorFlow-Projekt verwaltet Metadaten zum Modelltraining

Das Team hinter TensorFlow Extended (TFX) hat ein Projekt für das Speichern von Metadaten zum Training von Machine-Learning-Modellen veröffentlicht. ML Metadata (MLMD) soll beim Versionieren des Trainings und beim Analysieren von Zusammenhängen helfen. Das Projekt bringt eine API zum Speichern und Abrufen der Metadaten mit und kann mit unterschiedlichen Datenbanken zusammenarbeiten.

TensorFlow Extended ist eine Plattform zum Erstellen und Verwalten von Machine-Learning-Pipelines, die Modelle in den produktiven Einsatz bringen. Das nun vorgestellte Projekt ML Metadata soll dabei helfen, das Training von ML-Modellen auf ähnliche Weise zu versionieren und analysieren wie Sourcecode mit Versionsverwaltungssystemen. Das Projekt ist sowohl als Integration in die TFX-Plattform als auch in Form einer eigenständigen Library verfügbar.

Protokollführer über den Trainingsprozess

ML Metadata speichert für die einzelnen Schritte des Trainings unter anderem Informationen zum jeweils verwendeten Datensatz und die für das Training verwendeten Hyperparameter. Die Client-Libraries von MLMD überwachen jeden Schritt in der Pipeline und verwalten die jeweiligen Eingabe- und Ausgabe-Artefakte.

Ein GUI hilft beim Verwalten und Analysieren der Daten. Das Backend zum Speichern ist austauschbar. Unter anderem lassen sich MySQL oder die schlanke Datenbank-Library SQLite verwenden. Letztere läuft wahlweise für Testzwecke auch im "Fake Database"-Modus nur im Speicher, ohne Informationen auf Disk abzulegen.

Artefakte im Überblick

Im Nachgang ermöglicht ML Metadata eine Analyse der Trainingsschritte. Auf die Weise können Data Scientists Artefakte nach bestimmten Vorgaben filtern, um beispielsweise alle Modelle aufzulisten, für deren Training sie einen spezifischen Datensatz verwendet haben. Zudem können sie Artefakte desselben Typs laden, um Experimente oder Trainingsabläufe zu vergleichen. Für einzelne Artefakte lassen sich alle Schritte rückverfolgen, um unter anderem zu erkennen, welche Daten in das Training eines Modells eingeflossen sind.

MLMD brint eine Low-Level-API mit, um das Erstellen der Metadaten in die ML-Pipeline einzubinden. Außerdem lässt sich die Library in das Modelltraining direkt einbinden, um automatische Logs zu generieren und eine Historie über die Trainingsabläufe zu erstellen.

Weitere Details lassen sich dem TensorFlow-Blog entnehmen. Derzeit hat das Projekt die Versionsnummer 0.26.0, und das Readme des GitHub-Repository weist explizit darauf hin, dass es bis zum Release von Version 1.0 zu Inkompatibilitäten kommen kann. Das TFX-Team hat ein Tutorial veröffentlicht, das beim Einstieg helfen soll.

(rme)