Machine Learning: Microsofts Sketch2Code erzeugt HTML-Code aus Zeichnungen
Das System nutzt die Text- und Bilderkennungssysteme aus Microsofts Cognitive Services zur Analyse der mit der Hand gezeichneten Skizzen.
- Rainald Menge-Sonnentag
Unter dem Namen Sketch2Code hat Microsoft zusammen mit Kabel und Spike Techniques ein System veröffentlicht, das aus von Hand gezeichneten Skizzen HTML-Code erzeugt. Das webbasierte System nutzt Methoden der Künstlichen Intelligenz, um die Bilder zu analysieren und Texte zu erkennen.
Die Sketch2Code-Webseite bietet eine einfache Schnittstelle, mit der Entwickler ihre Zeichnungen hochladen beziehungsweise ein Foto oder Snapshot aufnehmen können. Anschließend untersucht ein Custom-Vision-Modell, das mit Microsofts Bilderkennungssystem aus den Cognitive Services arbeitet, das Bild. Das Modell ist speziell darauf trainiert, HTML-Elemente auf Handzeichnungen zu erkennen. Schließlich kommt noch ein Texterkennungssystem zum Einsatz, das die handschriftlichen Texte in passende Labels umsetzt.
Webschnittstelle und Basis für eigene Projekte
Für das Training des Modells hat das Team wohl mehrere Millionen Bildern verwendet, es erkennt zahlreiche unterschiedliche HTML-Elemente wie Bilder und Listen. Die Anwendung dient vor allem als Demonstration der Microsoft Computer Vision Service. Das Nutzen der Webschnittstelle ist kostenlos, allerdings verwendet das System potenziell die von Anwendern hochgeladenen Bilder für das weitere Training. Interessierte Entwickler können sich anzeigen lassen, mit welcher Wahrscheinlichkeit das System bestimmte Elemente erkannt hat.
Gleichzeitig dient das System als Grundlage für eigene Bilderkennungsanwendungen. Dafür hat das Team ein Repository auf GitHub bereitgestellt, das unter anderem Code für Azure Functions, Microsofts Ansatz für Serverless Computing, enthält. Entwickler können darauf aufbauend ihre eigenen Funktionen entwickeln. Freilich benötigt der Code zur Ausführung die Anbindung an den kostenpflichtigen, über das Azure-Abonnement verfügbaren Computer Vision Service. Auch das Frontend ist im Repository zu finden.
Weitere Details zu den für Sketch2Code verwendeten Komponenten lassen sich dem Microsoft-Azure-Blog entnehmen. Eine detailliertere Ausführung ist auf der AI-Lab-Seite zu finden. Microsoft steht weder mit dem Ansatz noch dem Namen sketch2code alleine da. Eine Suche nach dem Schlagwort ergibt zahlreiche Treffer unter anderem über ein Airbnb-Projekt. Das Twitter-Handle Sketch2Code ist seit drei Jahren inaktiv und die Domain mit dem Namen zeigt nur eine leere Seite.
(rme)
