Sony modelliert 360-Grad-Videos in 3D
Normalerweise kann man sich in 360-Grad-Videos nur um die eigene Achse drehen. Sony hat ein Verfahren entwickelt, das es Zuschauern erlaubt, sich in den Filmumgebungen zu bewegen.
Im vergangenen Jahr veröffentlichte Sony für die Playstation VR "The Joshua Bell VR Experience" – ein stereoskopisches 360-Grad-Video mit dem Violinisten Joshua Bell. Das Besondere: Der Zuschauer kann sich nicht nur in alle Richtungen umsehen, sondern auch zur Seite lehnen, um kleine Perspektivwechsel vorzunehmen. Allerdings kann er nicht um den Musiker herumwandern. Aber selbst kleine seitliche Bewegungen verstärken die räumliche Illusion, wie die Entwickler auf der Game Developers Conference in San Francisco erläuterten.
Die Bewegung war notwendig geworden, weil einem Teil der Zuschauer bei der stereoskopischen Darbietung übel wurde. Ihnen fehlte schlicht die nötige Parallaxen-Verschiebung, die entsteht, wenn man seinen Kopf seitlich bewegt und dabei auf Objekte in unterschiedlichen Entfernungen schaut.
Die Techniker hatten den kleinen Konzertsaal bei der Aufnahme nicht dreidimensional vermessen. Sie hatten lediglich zwei stereoskopische Mitschnitte von jeweils zwei 4K-Action-Kameras angefertigt. Anhand der stereoskopischen Daten mussten sie deshalb den Raum und alle Objekte nachträglich dreidimensional modellieren und Projektionsflächen einziehen. Bei statischen Objekten gelang dies noch recht einfach. Schwierigkeiten bereiteten jedoch die sich bewegenden Musiker, da es hierfür keine automatisierten Techniken gab. Deshalb musste jeder einzelne Frame per Rotoskopie manuell freigeschnitten werden, um die Musiker anschließend an der richtigen Stelle im Raum auf einer runden Oberfläche zu projizieren. Das ist ein immens aufwendiger Prozess, da pro Sekunde 240 Bilder von vier Kameras anfielen. Damit der Zuschauer zudem an verdeckenden Objekten vorbei schauen kann, mussten die Entwickler einzelne Elemente -- etwa die Beine des Pianisten -- nachträglich in 3D aufnehmen und in die Szene einfügen.
Automatisierter Workflow zur Rotoskopie
Seitdem "The Joshua Bell VR Experience" im vergangenen Jahr im PSN-Store kostenlos erschienen ist, hat Sony die Technik weiterentwickelt. Das Studio in Liverpool kann nun 3D-Videos, die mit stereoskopischen Kameras gefilmt wurden, automatisiert in 3D-Szenen umsetzen, in denen der Zuschauer seinen Kopf auch seitlich bewegen kann. Die Technik sei inzwischen so ausgefeilt, dass sie nicht nur für relativ statische Szenen wie bei einem klassischen Konzert, sondern auch bei Theaterszenen mit sich bewegenden Schauspielern funktioniere.
Das Studio arbeite an verschiedenen VR-Umsetzungen von Film- und Theaterstücken sowie Musikkonzerten, die das Angebot an VR-Spielen bald ergänzen sollen. Details zu den Projekten gab Sony jedoch nicht bekannt. (hag)
