KI retuschiert Smartphonefotos in Echtzeit
Forscher vom MIT und Google haben eine KI vorgestellt, die automatisch RAW-Bilder entwickelt. Das dafür trainierte neuronale Netz ist klein genug, um auf dem Smartphone zu laufen und schnell genug, um in Echtzeit zu retuschieren.
(Bild: Gharbi et al.)
Forscher des MIT haben ein Verfahren vorgestellt, um in Echtzeit Fotos aus der Smartphonekamera zu
retuschieren. Der Algorithmus nutzt ein vortrainiertes neuronales Netz, das auf dem Smartphone läuft, sodass keine Bilder in die Cloud geladen werden müssen. Das spart Strom und soll schnell genug sein, dass das Smartphone das retuschierte Bild in Echtzeit als Vorschau anzeigen kann.
Klein denken, groß trainieren
Um Energie zu sparen rechnet das neuronale Netz mit einer Version des Bildes in sehr kleiner Auflösung. Das reicht, um ein Raster mit Parametern zu bestimmen, die ein Algorithmus zum Tonemapping auf das hochauflösende Bild anwendet. Im Prinzip arbeitet das Gesamtsystem wie ein professioneller Fotograf: Abhängig vom Motiv wendet es verschiedene Parameter bei der RAW-Entwicklung auf einzelne Bildbereiche an. Es ist damit in der Lage Gesichter aufzuhellen oder Felsen kontrastreicher erscheinen zu lassen.
Um zu lernen, worauf es beim Retuschieren ankommt, trainierten die MIT-Forscher ihr System mit einem Datensatz, den das MIT zusammen mit Adobe erstellt hat: In dem haben fünf professionelle Fotografen jeweils 5000 RAW-Bilder entwickelt.
(Bild: Gharbi et al. )
Die MIT-Webseite erklärt Details zum Verfahren. Wer die verwendeten Formeln sehen will, muss aber ins Paper hineinschauen. Ob und wann die Technik in Kamera-Apps von Smartphones Einzug hält, klären beide Veröffentlichungen nicht – auf der SIGGRAPH-Konferenz haben die Forscher aber das richtige Publikum für eine schnelle Umsetzung gefunden. (pmk)
