Digitale Zwillinge
Wie lebensechte Avatare für das Metaverse entstehen
Künftig sollen Nutzer als naturgetreu animierte 3D-Avatare durchs Metaverse wandern. Forscher der Uni Tübingen, der ETH Zürich und des Max-Planck-Instituts zeigen schon jetzt, wie so ein Avatar entstehen kann: mit Tiefenkameras, Bewegungssensoren und Machine Learning.
Noch sind die Avatare von Meta, die Mark Zuckerberg und Konsorten gerade aushecken, kaum mehr als schlichte, dreidimensionale Comicfiguren, die ohne Beine in der Luft schweben. Doch sowohl die großen Tech-Konzerne als auch öffentliche Forschungseinrichtungen arbeiten daran, die Technik zu perfektionieren. Sie entwickeln Algorithmen, die mit einfachen Mitteln realistische Abbilder des Nutzers generieren und basteln eifrig an der zugehörigen Hardware, die schließlich die Körperbewegungen und Gesichtsausdrücke auf den Avatar überträgt.
Einer der Forscher, die sich dieser Aufgabe verschrieben haben, ist Andreas Geiger von der Universität Tübingen. Seine Gruppe für Autonomes Maschinelles Sehen arbeitet daran, die Geometrie menschlicher Körper zunächst zu erfassen, damit der Avatar wie eine digitale Marionette unterschiedliche Posen einnehmen kann. Für das Projekt SNARF stand den Wissenschaftlern ein 3D-Scanner am Max-Planck-Institut für Intelligente Systeme zur Verfügung, der groß genug ist, dass sich ein Mensch darin bewegen kann. Um die Geometrie möglichst genau abzuschätzen, hat das Gerät je nach Versuchsaufbau 20 bis 30 Tiefenkameras, die nach dem gleichen Prinzip wie der Kinect-Sensor der Xbox-Spielkonsole funktionieren. Dabei wird ein unsichtbares Infrarotmuster auf die Person projiziert und von einer Kamera erfasst. Aus den Verformungen des Musters auf der Körperoberfläche beziehungsweise der Kleidung ermittelt ein Algorithmus schließlich die dreidimensionale Geometrie und erzeugt ein Gitternetz der Person.