Mit echtem Gesichtsausdruck in virtuellen Welten

Die Entwicklung zu völlig realistischen virtuellen Erfahrungen schreitet schnell voran. Jetzt haben Forscher ein System für das VR-Headset Oculus Rift vorgestellt, das den eigenen Gesichtsausdruck ins Virtuelle überträgt.

Virtuelle Realität (VR) könnte bald um ein wenig lebhafte soziale Realität bereichert werden.

Forscher der University of Southern California und der Facebook-Tochter Oculus haben gezeigt, wie sich der Gesichtsausdruck des Trägers eines VR-Headsets erfassen und auf einen virtuellen Charakter übertragen lässt. Das Konzept könnte Treffen, Arbeit und Spiele in virtuellen Welten deutlich interessanter machen, denn die Miene eines virtuellen Körper-Doubles oder auch fremdartigen Avatars würde dann perfekt die der realen Person dahinter wiedergeben.

Das System erfasst die Bewegung des Mundes mit Hilfe einer am Headset befestigten 3D-Kamera. Bewegungen der oberen Gesichtshälfte werden mit Dehnungsstreifen gemessen, die in die Polsterung des Headsets integriert sind. Zusammen ermöglichen diese beiden Datenquellen eine korrekte 3D-Abbildung der Gesichtsbewegungen eines Nutzers, mit denen sich ein virtueller Charakter animieren lässt.

Auf diese Weise könnten Aufenthalte und Interaktionen in virtuellen Welten überzeugender werden, sagt Hao Li, Assistant Professor an der University of Southern California, der das Projekt geleitet hat: "Um eine virtuelle Umgebung sozial zu machen, möchte man anderen Menschen diese Signale übermitteln. Dies ist das erste System für Gesichtstracking, das in einem am Kopf getragenen Display demonstriert wurde." Li war einer der von MIT Technology Review ausgezeichneten Young Innovators 2013.

Der Facebook-CEO Mark Zuckerberg möchte mit dem Headset Oculus Rift neue Möglichkeiten der Interaktion schaffen, hat aber bislang keine Details dazu genannt. Facebook hatte Oculus im vergangenen Jahr übernommen.

Nach Aussage von Li war die Zusammenarbeit mit Oculus ein reines Forschungsprojekt. Es sei aber nicht besonders schwierig, das System eleganter und ein kommerzielles Produkt daraus zu machen. "Wenn die Leute meinen, dass es wirklich wichtig für neue Killer-Anwendungen wäre, ließe es sich relativ schnell in die Produktion bringen", sagt er.

"Das ist wirklich cool", sagt Philip Rosedale, Gründer von Second Life und jetzt CEO des Start-ups High Fidelity, das virtuelle Welten entwickelt. High Fidelity will mit Webcams und anderer Sensorik Gesichtsausdrücke sowie Arm- und Handbewegungen erfassen, um realistischere virtuelle Interaktionen zu ermöglichen.

Laut Rosedale gibt es deutliche Belege dafür, dass Avatare mit realer Körpersprache es erleichtern, in virtuellen Welten Kontakt mit anderen Menschen aufzunehmen. Wie Li ist er der Ansicht, dass sich die jetzt gezeigte Machbarkeitsstudie gut optimieren ließe. Die Kamera etwa könne in die Unterseite des Headsets integriert werden.

Das Herzstück von Lis System ist Software, die Daten von den Sensoren für untere und obere Gesichtshälfte kombiniert und das Ergebnis auf ein 3D-Modell des Gesichts überträgt.

Derzeit ist vor der ersten Nutzung noch eine kurze Kalibrierung erforderlich. Das bedeutet ein zehnsekündiges Training für die Gesichtsmuskeln mit verschiedenen Ausdrücken, während man ein Oculus-Headset ohne Display trägt und von einer 3D-Kamera frontal gefilmt wird. Anschließend setzt man das komplette Headset auf und trainiert noch einmal zehn Sekunden. Auf diese Weise erkennt die Software, wie sie den Datenstrom von unterer und oberer Gesichtshälfte korrekt kombiniert.

Li ist nach eigener Aussage dabei, diese Vorbereitung unnötig zu machen, indem er die Software mit Daten von unterschiedlichen Gesichtern füttert. Außerdem arbeitet er an weiteren Techniken, die es einfacher machen könnten, reales Verhalten in eine virtuelle Welt zu übertragen. Für die Erstellung von 3D-Abbildern der Körper und Gesichter von Menschen mit Hilfe von gewöhnlichen und 3D-Kameras gibt es bereits viele Werkzeuge. Li selbst hat vor kurzem ein System entwickelt, das eine schwierigere Aufgabe beherrscht: eine realistische 3D-Nachbildung der Frisur eines Menschen – auf der Grundlage von nur einem Foto.

(sma)