Machine Learning: Microsoft engagiert sich im MLflow-Projekt
Das von Databricks initiierte Open-Source-Projekt zur Verwaltung von ML-Experimenten soll nativ in Microsofts Azure-ML-Dienst integriert werden.
(Bild: Databricks)
- Matthias Parbel
Microsoft und Databricks haben am Rande des von Databricks organisierten Spark + AI Summit 2019 eine engere Zusammenarbeit in Sachen Machine Learning vereinbart. Dazu will sich Microsoft als aktiver Unterstützer in das Open-Source-Projekt MLflow einbringen und dessen Funktionen nativ in den Cloud-Dienst Azure ML integrieren. Bereits im Februar hatte sich Databricks auch weitere finanzielle Unterstützung durch den Konzern aus Redmond sichern können – in Form einer Investition von 250 Millionen US-Dollar.
Lifecycle-Management von Machine-Learning-Projekten
MLflow ist als Plattform für das Lifecycle-Management von Machine-Learning-Projekten ausgelegt. Dazu kombiniert es die drei Komponenten MLflow Tracking, MLflow Projects und MLflow Models, die sich sowohl lokal im Rechenzentrum wie auch in der Cloud nutzen lassen. MLflow Tracking stellt Anwendern eine API sowie ein UI unter anderen für die Protokollierung von Parametern, Codeversionen sowie den Ausgabedateien beim Ausführen von ML-Code zur Verfügung. Somit lassen sich Experimente protokollieren und auswerten – und das mit Python, R, Java oder über eine REST API.
Mit MLflow Projects lässt sich der Code in einem Dateiverzeichnis beziehungsweise Git Repository so verpacken, dass er reproduzierbar wiederverwendbar beispielsweise auf neue Plattformen oder an andere Data Scientists übergeben werden kann. MLflow Models schließlich dient dazu, den Code für das Deployment aufzubereiten und für die Verarbeitung mit ML-Frameworks wie TensorFlow, Keras oder PyTorch anzupassen.
Erweitertes Open-Source-Angebot
Im Rahmen des auf Apache Spark basierenden kollaborativen Analysediensts Azure Databricks haben Microsoft-Kunden bereits Zugriff auf MLflow. Durch die Integration in Azure ML will Microsoft nun sein allgemeines Open-Source-Angebot für die Machine-Learning-Community ausbauen. Denn für Funktionen wie Tracking und Monitoring oder die Durchführung iterativer Durchläufe beim Experimentieren mit unterschiedlichen Algorithmen nutzt Microsoft in Azure ML bisher proprietäre Dienste.
Das Mitte vergangenen Jahres erstmals vorgestellte Framework soll nach Aussage von Databricks-CEO Matei Zaharia noch in der ersten Jahreshälfte 2019 die Betaphase abschließen und in der Hauptversion 1.0 erscheinen. Für das Major Release ist dann auch Unterstützung für die Windows-Plattform sowie für die Container-Orchestrierung Kubernetes vorgesehen. Derzeit liegt MLflow 0.9.1 auf GitHub parat. (map)
