Wie Prisma, nur andersherum
Forscher drehen den Spieß von Apps wie Prisma um: Sie trainieren ein neuronales Netz, das aus gezeichneten Gesichtern fotorealistische Bilder erstellt. Das ist interessant für die Bildende Kunst, aber auch für die Polizeiarbeit.
Foto-Fans haben seit einiger Zeit in der App Prisma eine neue Lieblingsanwendung gefunden. Die Applikation macht aus geschossenen Fotos eigene kleine Kunstwerke. Aus Zeichenstilen angelehnt an denen von Edvard Munch bis Roy Lichtenstein können die Nutzer wählen. Ähnlich verfährt auch die nicht ganz so bekannte Anwendung DeepArt.io. Genutzt werden für die Umwandlungen nicht einfach statische Filter, sondern die Bildanalyse durch Künstliche Intelligenz, die das Foto komplett neu erstellt.
Apps wie Prisma invertiert
Dass das auch andersherum funktioniert, zeigt eine Forschergruppe von der Radboud University. In ihrer Studie, veröffentlicht auf dem Open Access-Portal arXiv, erklären sie, wie ihr Modell funktioniert. Ziel dabei ist es, aus frei gezeichneten Skizzen von Gesichtern fotorealistische Bilder zu machen, die auch in der Farbgebung authentisch sind. Die Wissenschaftler um die Neurowissenschaftlerin Yagmur Güçlütürk haben dazu ein neuronales Netz trainiert.
Zunächst dienten 200.000 Internet-Bilder von bekannten Persönlichkeiten als Grundlage. Daraus entwarfen Algorithmen zur Standard-Bildverarbeitung Strichzeichnungen, Schwarz-Weiß- und Farbzeichnungen. Dadurch erlernte das Netz das nötige Handwerkszeug. In einem nächsten Schritt wurde aus diesen Zeichnungen wiederum ein computergeneriertes Bild erstellt. Dabei erzielten die Bilder auf Basis von Strichzeichnungen die höchste Bildqualität. Schließlich wendeten die Forscher den Algorithmus auf Zeichnungen an, die menschliche Künstler von beliebigen Personen angefertigten hatten.
Gut im Bild: Forscher sind zufrieden mit ihrem neuronalen Netz
Die Invertierung dieser Strichzeichnungen habe fast genauso gut funktioniert, wie bei der Invertierung der computergenerierten Zeichnungen, berichten die Forscher. Um auf die Farbe, etwa von Gesicht oder Haut in der farblosen Strichzeichnung zu schließen, nutzte das Modell Helligkeitsunterschiede von Straffierungen. Das Ergebnis traf nicht immer ganz genau zu, "doch bei anderen Elementen wie Gestalt, Form, Linie, Platzaufteilung und Struktur gelang eine fotorealistische Darstellung oft gut", schreiben sie. Auch Problembereiche wie die Haare wurden mit dem entwickelten Modell gut realisiert. Fehlende Schattierungen in der Zeichnung führten allerdings zu einem schlechteren Bild. "Das lässt sich mit mangelnden Beispielen in den Trainingsdaten erklären und kann leicht nachgeholt werden", meinen die Neurowissenschaftler.
Nützlich könnte das entwickelte Modell nicht nur in der bildenden Kunst sein, sondern auch in der Forensik, etwa um gezeichnete Phantombilder zu konvertieren und in Bilderkennungsprogrammen anzuwenden.
Neuronales Netz invertiert Zeichnungen zu Fotos (3 Bilder)
(Bild: Radboud University)
(jle)
