Machine Learning: ML Kit kann offline übersetzen

Google hat das erstmals auf der I/O 2018 vorgestellte Software Development Kit (SDK) ML Kit um zusätzliche APIs erweitert. Zu den Neuerungen gehört eine Funktion zum Erkennen herausstechender Objekte in Bildern und deren Nachverfolgung in Echtzeit. Außerdem funktioniert das Übersetzen nun ohne Cloud-Anbindung direkt auf dem mobilen Endgeräten. Schließlich lassen sich Bildklassifikationsmodelle aufgrund von Vorgaben über AutoML Vision Edge erstellen

Übersetzen ohne Cloud

Die On-device Translation API ermöglicht das Übersetzen einfacher Texte direkt auf dem Smartphone ohne Cloud-Anbindung. Die API lässt sich mit anderen ML-Kit-APIs verbinden, sodass das System in Kombination mit der Text Recognition und der Language Identification API Text auf einem in der Kamera gezeigten Bild erkennt, die Quellsprache zuweist und schließlich mit der neuen API übersetzt.

Allerdings bringt die Funktion auf dem Gerät einige Einschränkungen im Vergleich zur Cloud Translation API mit sich. Die Übersetzung ist auf einfache Texte ausgelegt und funktioniert im Kern nur von und zu Englisch. Sie kann zwar zwischen zwei beliebigen der insgesamt 59 unterstützten Sprachen übersetzen, verwendet dabei aber stets Englisch als Zwischenstation.

Verfolgungsjagd auf Objekte

Die neue Object Detection and Tracking API soll das herausstechende Objekt in einem Bild oder Video erkennen, um es anschließend in Echtzeit zu tracken und in anderen Quellen wiederzufinden. Die API liefert neben den Koordinaten des erkannten Objekts eine grobe Klassifikation. In Videos lässt sich das Objekt über ein Handle im Verlauf verfolgen. Entwickler können andere APIs anbinden, um beispielsweise in der von Google angebotenen Product Search API das Objekt aufzustöbern.

Eine weitere neue API widmet sich dem Thema Automated Machine Learning (AutoML): Über AutoML Vision Edge können Entwickler Trainingsdaten zum Klassifizieren von Bildern in die Firebase-Konsole hochladen, um ein für bestimmte Aufgaben wie das Erkennen unterschiedlicher Tierarten angepasstes TensorFlow-Modell mit AutoML erstellen zu lassen, das sich lokal auf mobilen Endgeräten verwenden lässt.

Weitere Neuerungen wie die Design-Vorgaben für die Nutzerschnittstelle des Material-Design-Teams lassen sich dem Google-Entwicklerblog entnehmen. (rme)