Microsoft legt Version 0.14 von MMLSpark vor
Die Machine-Learning-Bibliothek für Apache Spark enthält einige Verbesserungen und neue Funktionen wie die Unterstützung für LIME.
- Matthias Parbel
Mit dem Update auf MMLSpark Version 0.14 der erst im vergangenen Jahr vorgestellten Machine-Learning-Bibliothek für Apache Spark reicht Microsoft einige neue Funktionen sowie eine Reihe von Verbesserungen nach. Neu ist unter anderen die Unterstützung für LIME (Local Interpretable Model Agnostic Explanations), die in verteilten Modell-Implementierungen kommentierte Ergebnisse zu den Vorhersagen eines beliebigen Bildklassifizierers liefern, sodass sich dessen Zuverlässigkeit einschätzen lässt. Anhand eines Beispiels zum Detektieren von Schneeleoparden (ModelInterpretation – Snow Leopard Detection.ipynb) ist nachvollziehbar, wie sich durch Kombination von Distributed Model Interpretability und der Bing-Bildsuche mit MMLSpark ein Objekterkennungssystem aufbauen lässt, ohne dass die Daten vorab händisch gelabelt werden müssen.
Microsofts Open-Source-Projekt bietet Data Scientists darüber hinaus eine erweiterte Integration mit den Cognitive Services on Spark aus dem Cognitive Toolkit (CNTK). Neben der Bing-Bildsuche schließt das auch Bereiche wie Computer Vision, Textanalyse sowie Gesichtserkennung ein. Einige Verbesserungen stehen auch für das LightGBM-Framework zur Verfügung, darunter neue APIs zum Laden nativer Modelle, ein PMML Exporter sowie Feature Importances. Im Hinblick auf das Spark Serving unterstützt MMLSpark nun den kompletten Protokollumfang von HTTP. Außerdem sollen sich die Latenzen im Vergleich zur Vorversion um den Faktor 100 verbesserte haben.
MMLSpark steht als Open Source auf GitHub parat. Dort finden sich auch die Release Notes mit einer kompletten Übersicht sämtlicher Neuerungen in Version 0.14. (map)
