Disney entwickelt 3D-Malbuch mit Augmented Reality
Schluss mit drögen, flachen Malbüchern – von Disneys Forschungsabteilunggibt es jetzt was in 3D: Was man der Figur auf dem Papier auf dem Bauch zeichnet, erscheint in Echtzeit auf einem 3D-Avatar.
![Augmented Reality Malbuch](https://heise.cloudimg.io/width/610/q85.png-lossy-85.webp-lossy-85.foil1/_www-heise-de_/imgs/18/1/6/0/2/5/1/0/Live_Texturing_of_Augmented_Reality_Characters_from_Colored_Drawings_-_YouTube_2015-10-08_15-17-29-cb89314af458087b.png)
(Bild: Disney Research)
Eine gemischte Forschergruppe aus Angehörigen des Disney-Research-Labors in Zürich sowie Vertretern des Computer Vision Lab an der Eidgenössischen Technischen Hochschule in Lausanne (EPFL) lässt Kinderträume wahr werden: Kaum hat man die schwarzweiß gedruckte Malbuchvorlage einer Comicfigur nach den eigenen Wünschen bemalt, steht sie schon dreidimensional und animiert auf der Buchseite und trägt genau dieselben Farben, die man zuvor aufs Papier gekritzelt hat. Allerdings muss man dazu zwischen sich und das Malbuch ein Tablet oder ähnliches Mobilgerät mit Rückseitenkamera halten, denn die 3D-Figur erscheint nur virtuell im Live-Bild von der Kamera, als Augmented-Reality-Element.
Die Raffinesse der neu entwickelten Methode für die Abbildung der Zeichnung auf das 3D-Oberflächengitter der Figur liegt dabei in den Details: Der Algorithmus arbeitet nicht nur in Echtzeit und ist in der Lage, auch verdeckte Teile der Figur mit einer passenden Textur zu dekorieren, er soll auch robust gegen die Verzerrungen sein, die bei der Deformation von Oberflächen entstehen, etwa, wenn die Kamera des Tablets die Buchseite schräg aufnimmt oder diese gebogen wird. Nicht zuletzt haben die Forscherinnen und Forscher auch eine kleine Akzeptanzstudie mit 40 Probanden durchgeführt, mit dem Ergebnis: Die Mehrheit würde die App gerne privat weiterbenutzen. Offensichtlich macht das Augmented-Reality-Malen in 3D Spaß.
Die Gruppe hat ihre Arbeit auf der Konferenz IEEE ISMAR 2015 (International Symposium on Mixed and Augmented Reality) präsentiert, die vom 29. September bis zum 3. Oktober im japanischen Fukuoka stattfand und auf der beispielsweise auch Microsoft sein zum 3D-Scanner umgebautes iPhone gezeigt hat.
- Paper als PDF: Stéphane Magnenat, Dat Tien Ngo, Fabio Zünd, Mattia Ryffel, Gioacchino Noris, Gerhard Rothlin, Alessia Marra, Maurizio Nitti, Pascal Fua, Markus Gross, Robert W. Sumner: Live Texturing of Augmented Reality Characters from Colored Drawing
(pek)