Bilderkennung macht aus spiegelnden Objekten Kameras

Man kennt es aus den eigenen Fotos: Oft spiegeln sich Personen, die man gar nicht aufnehmen wollte, in Gegenständen, die glänzende Oberflächen aufweisen – nicht selten inklusive des Fotografen. Bislang ist dies vor allem störend für den Betrachter. Und höchstens für Künstler von Interesse, die damit hübsche optische Effekte erzielen wollen.

Mehr sehen, als sichtbar scheint

Ein Wissenschaftlerteam der US-Hochschulen Massachusetts Institute of Technology (MIT, Cambridge) und Rice University (Houston) will die ungeliebten Reflexionen nun sinnvoll nutzen: Für Bilderkennungssysteme, die mehr visuelle Daten eines Raumes erfassen können. Dies könnte etwa im Automobilbereich sinnvoll sein, um rechtzeitig Gefahren zu erfassen, die weder der Fahrer noch herkömmliche Kameras erkennen können – seien es spielende Kinder hinter der nächsten Straßenkreuzung oder Fahrradfahrer, die nicht einmal ein Totwinkelassistent erkennt.

In der Studie unter der Überschrift "Glänzende Objekte als Strahlungsfeldkameras" zeigen Ramesh Raskar, Tzofi Klinghoffer und ihre Kollegen, wie dies funktionieren kann. "Spiegelungen auf glänzenden Gegenständen enthalten wertvolle und verborgene Informationen über die Umgebung", schreiben die Wissenschaftler. "Indem wir diese Objekte in Kameras umwandeln, können wir spannende Anwendungen erschließen, etwa die Abbildung über das Sichtfeld hinaus und aus scheinbar unmöglichen Blickwinkeln wie dem menschlichen Auge." Möglich machen dies Computer-Vision-Algorithmen, die die verzerrt gespiegelten Bildinformationen drehen und zurechtziehen.

Tiefenkarten in 5D

In ihrem Paper zeigen Raskar und Kollegen das etwa anhand einer Tasse aus Keramik oder eines glänzenden Briefbeschwerers aus Metall. Daraus lassen sich virtuelle Kameras machen, aus denen sich Entfernungen errechnen lassen – oder gleich das Gesamtbild. Besonders scharf und detailliert sind die Aufnahmen bislang zwar noch nicht, da Fehlendes hinzugerechnet werden muss. Es reicht aber schon, um Tiefenkarten zu erstellen, was für Fahrzeugsensoren spannend ist. Noch ist das Verfahren zudem auf Standbilder beschränkt.

Zunächst wird ein Objekt aus verschiedenen Blickwinkeln aufgenommen, wobei mehrere Reflexionen auf dem glänzenden Objekt erfasst werden. Dann wandelt das System, das die Forscher ORCa ("Objects as Radiance-Field Cameras") getauft haben, die Oberflächen in einen "virtuellen Sensor" um. Mit einem Algorithmus werden Licht und Reflexionen berechnet, die jeden virtuellen Bildpunkt auf der Oberfläche des Objekts treffen. Daraus entsteht ein Bild, das die Umgebung aus der Perspektive des Objekts zeigt. Das Bild ist zudem fünfdimensional, da auch Intensität und Richtung von Lichtstrahlen erfasst werden, die jeden Punkt der Szene treffen. Bislang handelt es sich erst um einen Proof-of-Concept. Praktische Anwendungen stehen noch aus.

(bsc)