Digitaler Bildhauer: Neuralangelo verwandelt 2D-Videos in 3D-Skulpturen
Ein neues KI-Tool von Nvidia verspricht, auf Basis gewöhnlicher Smartphone-Videos komplexe 3D-Modelle von Gegenständen und Gebäuden erstellen zu können.
(Bild: Nvidia)
- Eike Kühl
Die Kunst des 16. Jahrhunderts trifft die Technik des 21. Jahrhunderts: Mit diesen Worten bewirbt die KI-Abteilung des Chipherstellers Nvidia eine neue Software namens Neuralangelo, die mithilfe künstlicher Intelligenz detaillierte 3D-Modelle von ikonischen Skulpturen, gewöhnlichen Gegenständen oder auch kompletten Gebäuden erstellen kann. Alles, was sie dazu benötigt, ist ein mit dem Smartphone oder einer Drohne gefilmtes Video.
Neural Surface Reconstruction heißt das Verfahren, bei dem 3D-Modelle auf Basis von 2D-Inhalten wie Fotos und Videos erstellt werden: Eine entsprechende Software analysiert den Input und errechnet anhand verschiedener Blickwinkel, wie das Objekt – beispielsweise eine Skulptur oder ein Fahrzeug – in 3D aussehen.
Wie ein Bildhauer, der sein Objekt aus verschiedenen Blickwinkeln betrachtet, analysiert Neuralangelo die Einzelbilder eines Videos, um ein klares Verständnis für Tiefe, Größe und Form eines Objektes zu erhalten. Anschließend wird eine erste 3D-Darstellung davon konstruiert und weiter verfeinert, um die komplizierten Details wiederzugeben. Wie die Forschenden von Nvidia in ihrem Paper schreiben, sei Neuralangelo in der Lage, auch komplexe Oberflächen wie Dachschindeln oder Marmorplatten zu erfassen und detailliert darzustellen, woran bisherige Modelle häufig scheitern.
Mehr Detailreichtum dank NeRFs
Möglich macht das unter anderem eine Entwicklung auf dem Gebiet der künstlichen Intelligenz namens Neural Radiance Fields, kurz NeRFs. Dabei handelt es sich um 3D-Modelle, die bereit mit wenigen Dutzend 2D-Fotos erstellt werden können. Die Technologie wird unter anderem von Google getestet, um Produkte in der Suchmaschine in 3D zu rendern. Mit Instant NGP hat Nvidia vergangenes Jahr ein eigenes NeRF-Modell für Einsteiger vorgestellt, das nun auch in Neuralangelo implementiert ist und dafür sorgt, dass auch feinste Details erkannt werden.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes Video (Kaltura Inc.) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Kaltura Inc.) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Aber wofür ist das nun gut? "Die 3D-Rekonstruktion von Neuralangelo wird dabei helfen, die reale Welt in der digitalen Welt nachzubilden", sagt Ming-Yu Liu, Co-Autor des Papiers. Einsatzgebiete für die Technologie könnten virtuelle Welten wie Videospiele oder das Metaverse sein, in denen mit vergleichsweise wenig Aufwand digitale Zwillinge von realen Gegenständen und Gebäuden erstellt werden könnten, ohne diese erst in mühsamer Kleinarbeit modellieren zu müssen. Aber auch Innenarchitekten, Industriedesigner und Robotik-Unternehmen können die Technik nutzen, um die Begebenheiten einer Anlage oder eines Gebäudes im Computer zu simulieren.
Auf der Conference on Computer Vision and Pattern Recognition (CVPR), die vom 18. bis 22. Juni in Vancouver stattfindet, will Nvidia weitere Details von Neuralangelo präsentieren – zusammen mit 30 weiteren Projekten, die sich um künstliche Intelligenz drehen. Damit unterstreicht das Unternehmen seinen Anspruch, nicht mehr nur ein Grafikchiphersteller zu sein, sondern eine "AI Computing Company".
(bsc)