Analyse: Wie Oculus das Bildschirmproblem von VR-Brillen umgehen will

Zu grob und zu langsam: In Los Angeles diskutierten Michael Abrash und John Carmack Lösungswege, wie man latenzfreie hohe Auflösungen in VR-Brillen implementieren könnte.

In Pocket speichern vorlesen Druckansicht 110 Kommentare lesen
Lesezeit: 5 Min.

Auf der Oculus Connect in Los Angeles stellte Oculus einen neuen Prototypen "Crescent Bay" vor, ohne jedoch Details zu wichtigen technischen Daten wie der Bildschirmauflösung und der Bildwiederholrate zu verraten. Stattdessen diskutierten die beiden Chef-Entwicker Michael Abrash und John Carmack die grundsätzlichen Hürden, die es zu überwinden gelte und an welchen Lösungsansätzen sie derzeit arbeiten.

Das Auge sieht immer nur einen kleinen Bereich scharf. Scanner könnten in Echtzeit beobachten, worauf die Augen der VR-Brilenträger sich fokussieren, damit sich der Renderer auf diesen Bereich konzentrieren können.

(Bild: Oculus)

Laut Abrash müssten VR-Brillen Bilder mit einer Auflösung von 16.000 mal 16.000 Pixeln (256 Megapixel) pro Auge mit mindestens 120 Hz berechnen, damit Augen die virtuelle Umgebung in etwa so detailliert wahrnehmen wie die Realität. Doch von diesem Ideal sei die aktuelle Technik, die derzeit rund 1 Megapixel mit 60 bis 75 Hz pro Auge darstellen kann, noch weit entfernt. Deshalb halte er es mittelfristig für unabdingbar, per Eye-Tracking genau den Bereich zu erfassen, den der Träger gerade mit seinem Blick fokussiert, um diesen besonders detailliert zu rendern. Derzeit ist Eye Tracking jedoch zu langsam, um die Latenz zwischen Kopfbewegung und Bildausgabe unter die gewünschte Schwelle von 20 ms zu drücken. Für die erste Generation von VR-Brillen, die zudem noch zu relativ günstigen Preisen angeboten werden soll, ist das teure Eye-Tracking deshalb nicht vorgesehen.

Doch die visuelle Wahrnehmung sei nur ein Teilproblem. Die von Abrash geleitete Abteilung Oculus Research arbeite eng mit Universitäten zusammen, um alle sensorischen Bereiche des Menschen in die VR-Simulation mit einzubinden. Dazu gehören neben dem Sehapparat und dem Gehör auch die Körperhaltung, der Tast- und Geschmackssinn, aber auch unbewußte Wahrnehmungen, wie sie etwa bei optischen Täuschungen ausgenutzt werden. Zudem arbeite man daran, die Genauigkeit des Trackings zu verbessern. Ziel sei eine millimetergenaue Positionierung auf allen Raumachsen. Dies hofft man über eine Kombination von externen Kameras und internen Beschleunigungs- und Gyro-Sensoren zu erreichen.

Oculus sieht Virtual Reality als ganzheitliches Problem, bei dem nicht nur die Augen überlistet werden müssen.

(Bild: Oculus)

Während Oculus keinen eigenen VR-Controller vorstellte, bringt der neue Prototyp "Crescent Bay" einen eigenen Kopfhörer mit. Oculus bindet zudem das System von RealSpace 3D zur Positionierung von Schallquellen im dreidimensionalen Raum mit ein. Damit diese realistisch wirken, müssen Raumklangsimulationen unter anderem auch auf den Frequenzgang des Kopfhörers kalibriert werden. Ein standardisierter Kopfhörer mit bekanntem Frequenzgang würde eine solche Kalibrierung für Software-Entwickler vereinfachen. Allerdings würde er auch den Preis der Konsumenten-Version der Rift in die Höhe treiben, wenn er ein gewisses Maß an Klangqualität bieten soll. Beim Prototypen sei es deshalb möglich, eigene Kopfhörer aufzusetzen.

John Carmack ließ in seinem Vortrag hingegen Träume von schnellen hochauflösenden Spezialdisplays für VR-Brillen platzen. Er halte es für unrealistisch, dass Hersteller wie Samsung bald Displays mit mehr als 60 Hz für ihre Mobil-Geräte einsetzen, weil diese Probleme beim Abspielen von Videodateien mitbringen würden und den Akku sowie den Temperaturhaushalt zusätzlich belasten. Deshalb arbeite er daran, Mobil-Displays jenseits ihrer Spezifikation zu betreiben. Ein neuer (alter) Ansatz den er dazu vorstellte, war die Interlaced-Ausgabe, bei der von jedem neuen Bild nicht jede Zeile (progressive Modus) sondern nur jede zweite, eventuell nur jede vierte oder achte Zeile neu gerendert und ausgegeben würde. Dazu sei es jedoch nötig, dass man die Beleuchtung der Zeilen des Displays einzeln adressieren kann und nur dann einschaltet, wenn ein neuer Bildinhalt vorliegt. So ließen sich die Bildwiederholraten von 60-Hz-Displays vervielfachen. Derzeit experimentiere er mit dieser Methode und sammle Erfahrungen, wie Testpersonen auf eine solche Hi-Speed-Interlaced-Ausgabe reagieren. Bei der Progressiv-Ausgabe könne man derzeit 90 Hz erreichen, die etwa 9 von 10 Personen als flimmerfrei empfinden würden.

John Carmack erzählte von seinen Erfahrungen mit Android und Samsung. Über andere Mobilssysteme, etwa von Apple oder Microsoft, verlor er kein Wort.

Ob der neue Prototyp "Crescent Bay" tatsächlich, wie erste Probanden vermuten, mit einer Auflösung von 2560 x 1440 Pixeln und 90 Hz arbeitet, ist aufgrund der Vorträge von Abrash und Carmack nicht eindeutig zu beantworten. Die neue VR-Brille könnte auch in einem speziellen Interlaced-Modus arbeiten. Das Schweigen zu den genauen Daten lässt vermuten, dass Oculus mit den genauen Werten noch experimentiert. Sollten sich die Werte als "zu hoch" herausstellen, so brauchen sie bei der Bekanntgabe der tatsächlichen Spezifikationen der ersten Konsumenten-Version (die noch immer aussteht) dann nicht zurück zu rudern, wenn sie aufgrund von Einschränkungen bei der Massenfertigung Kompromisse eingehen müssen.

(Hinweis: Ein falscher Bezug zur "Scanning-Backlight-Technik" wurde aus der ersten Version der Meldung entfernt.) (hag)