Echtzeit-Magie: TU-Graz-Team lässt Objekte unsichtbar werden

Augmented Reality ermöglicht es, digitale Objekte in reale Szenen einzufügen. Weniger verbreitet ist das Gegenstück dazu: Diminished Reality (DR). Diese Technik entfernt Objekte aus einer Szene und füllt die entstehende Lücke überzeugend auf. Frühere Methoden für dreidimensionale Räume erforderten hohe Rechenleistung und lieferten die angepasste Szene oft nur verzögert oder mit Fehlern. Ein Team um Dieter Schmalstieg, Shohei Mori und Denis Kalkofen vom Institute of Visual Computing der TU Graz hat nun zusammen mit Hideo Saitos Team an der Keio University in Japan verschiedene Technologien kombiniert und ist zu beeindruckenden Ergebnissen gekommen.

Photoshop für bewegte 3D-Bilder

Wie das Team gegenüber dem Informationsdienst Wissenschaft berichtet, ist es gelungen, dreidimensionale Objekte in Echtzeit mittels Diminished Reality verschwinden zu lassen. Eine Kamera zeigt den veränderten Raum live in seiner neuen Form. "Vereinfacht gesagt, kann man sich Diminished Reality wie eine Art Photoshop für 3D-Szenen vorstellen", sagt Shohei Mori. "Manche denken vielleicht als Erstes daran, wie sie damit unliebsame Dinge aus Urlaubsvideos entfernen können. Das ist eine Herausforderung, wäre aber durchaus möglich. Es gibt allerdings einige andere Bereiche, wo DR-Anwendungen äußerst nützlich sind."

Die neue Technologie eröffnet der Industrie spannende Möglichkeiten: Sie simuliert Fehlfunktionen in Trainingsdatensätzen für autonome Fahrzeuge oder visualisiert Filmszenen direkt am Drehort, auch wenn dieser beim Location Scouting noch nicht den gewünschten Look hat. Im medizinischen Bereich unterstützt Diminished Reality chirurgische Eingriffe, indem sie störende Elemente aus dem Sichtfeld der Kameras entfernt und so klares Lernmaterial für Studierende schafft.

Die Technologie, genannt InpaintFusion, basiert auf 2D-Inpainting und entfernt Objekte aus 3D-Szenen. Nutzer markieren auf einem 2D-Bildschirm Bereiche, die das System dann in die 3D-Szene überträgt. Ein Schlüsselbild dient als Startpunkt. Das System sammelt passende Pixel aus der Umgebung des Objekts und fügt sie zu einem glaubwürdigen Hintergrund zusammen. Für die 3D-Umsetzung optimiert es gleichzeitig Farbinformationen und Tiefendaten der gescannten Szene, sodass das Ergebnis auch bei wechselnder Kameraperspektive überzeugt. Das Forschungsteam hat 3D-Inpainting erfolgreich auf volumetrische 3D-Bilddaten (Multi-Layer Images) angewendet und so die Qualität der Objektentfernung deutlich gesteigert.

Schlüsseltechnologien FPM und Multithreading

Die größte Hürde bestand nach Meinung der Forschenden darin, alle Verarbeitungsschritte in Echtzeit umzusetzen. Dafür kombinierten die Forschenden zwei Technologien: Fast Patch Matching (FPM) und Multithreading. Beim Patch Matching sucht das System zufällig die optisch passendsten Pixel aus der Umgebung, um den freigelegten Bereich zu füllen. Diese Pixel müssen nicht perfekt sein, liefern aber zusammen ein überzeugendes Ergebnis, ohne Millionen von Pixeln durchzurechnen. Multithreading nutzt die Fähigkeit moderner Prozessoren, mehrere Aufgaben parallel auf verschiedenen Kernen auszuführen. In der Diminished-Reality-Lösung des Teams berechnet ein Hintergrund-Thread die aufwendige 3D-Inpainting-Aufgabe, während der Haupt-Thread die visuelle Darstellung steuert. So ist das Ergebnis ohne Verzögerung sichtbar und selbst bei freier Bewegung der Beobachtenden im Raum bleibt das Objekt unsichtbar.

"Die Echtzeit-Darstellung von Diminished Reality ist ein wichtiger Schritt für diese Technologie", meint Shohei Mori. "Nun gilt es, die passenden Toolkits zu entwickeln, damit diese Möglichkeiten einem breiteren Publikum zugänglich gemacht werden können. Ein weiteres Ziel ist die schnelle und effiziente Erzeugung von 3D-Modellen aus wenigen Einzelbildern. Das würde Diminished Reality noch eine zusätzliche Dimension verleihen."

Die InpaintFusion-Technologie ist komplex, für die Maker-Szene vermutlich auch überdimensioniert und noch nicht verfügbar. Für DIY-Zwecke (Do It Yourself) gibt es jedoch durchaus leistungsfähige einfache Alternativen wie 2D-Inpainting-Tools, etwa in Software wie Adobe Photoshop ("Generatives Füllen"), Gimp oder Stable Diffusion mit Inpainting-Funktionen. Diese Programme ermöglichen es im DIY-Bereich, Objekte aus Bildern zu entfernen oder zu bearbeiten, ohne tiefes technisches Wissen oder teure Hardware vorauszusetzen. Beispielsweise lassen sich mit Photoshop störende Elemente in Fotos retuschieren, indem Bereiche markiert und über KI-Funktionen einen neuen Hintergrund bekommen. Stable Diffusion bietet eigene Inpainting-Funktionen, die ähnliche Effekte ermöglichen, anders als bei InpaintFusion allerdings in 2D und nicht in Echtzeit-3D. Modelle wie runwayml/stable-diffusion-inpainting oder stabilityai/stable-diffusion-2-inpainting erlauben es dabei, Bereiche eines Bildes zu maskieren und durch Text-Prompts neue Inhalte zu generieren.

(usz)