Was VR in fünf Jahren kann – und wie das die Welt verändert

Inhaltsverzeichnis

Microsoft, id Software, Valve, Oculus VR – der Lebenslauf von Michael Abrash liest sich wie ein Who's who der Softwaregeschichte. Der Chief Scientist von Oculus Research schrieb schon Programmcode für Windows NT, Doom und Quake, arbeitete an den ersten beiden Xbox-Spielkonsolen und legte bei Valve den Grundstein für deren VR-System Vive. Ganz nebenbei verfasste er einige Standardwerke für Grafikprogrammierer.

Vor gut zweieinhalb Jahren wechselte er von Valve zu Oculus, einmal mehr mit seinem alten id-Kollegen John Carmack vereint. Sein Vortrag im Rahmen der Keynote-Veranstaltung der Oculus-Connect-Konferenz widmete sich der Frage: Wie sieht Virtual Reality in fünf Jahren aus? Und welche Entwicklungen und Durchbrüche braucht es dazu in Optik und Bildschirmtechnik, Grafik, Augen-Tracking, Akustik, Interaktion, Ergonomie und Computer Vision?

Heute aktuell, morgen prähistorisch

"In fünf Jahren wird die VR-Technik von heute prähistorisch anmuten", eröffnete Abrash seinen Vortrag. Seiner Meinung nach wird die Auflösung eines VR-Displays auf 4K × 4K ansteigen, das Blickfeld soll sich von 90 auf 140 Grad erweitern – bei einer Pixeldichte von 30 statt wie heute 15 Pixel pro Grad. Oh, und die heute noch bei etwa zwei Meter Abstand fixierte Tiefenschärfe soll variabel sein – von 25 Zentimetern bis unendlich. Allerdings gibt es derzeit noch keine Optiken, die das bewerkstelligen könnten. Die Forschung konzentriert sich hier auf Verfahren wie Holografie-, Plenoptik-, Gleitsicht- und Mehrfach-Displays.

Grafikkarten dürfte die Berechnung von 16 Millionen Pixel bei 90 Hertz ins Schwimmen bringen, doch. Allerdings nimmt das menschliche Auge in der Peripherie viel weniger Details wahr als in der Fovea, dem Bereich des schärfsten Sehens in der Netzhaut. Hier setzt die Technik des Foveated Imaging an, bei der nur 1/10 der dargestellten Pixel gerendert werden – nämlich die im Fixpunkt der Netzhaut. Zwar arbeitet unter anderen schon Nvidia mit Multi-Res Shading an der Umsetzung dieser Methode, doch generell erfordert ihr flächendeckender Einsatz ein "Redesign der kompletten Grafik-Pipeline", so Abrash. Außerdem notwendig: perfektes Augen-Tracking, damit der Fixpunkt des gerenderten Bildes immer mit dem des Auges übereinstimmt.

Netzhaut-Tracking und gewaltige Rechenressourcen

Wer denkt, zum perfekten Augen-Tracking müsse man einfach einige Kameras ins Headset integrieren, um die Pupille zu verfolgen, irrt. Michael Abrash zeigt das anhand einiger Videos, in denen unterschiedlich große, nicht immer perfekt runde Pupillen durch Wimpern oder gar Lasik-Operationen weiter verformt werden. Obendrein verändert sich der Pupillendurchmesser beschleunigungsbedingt bei der Augenbewegung. "Außerdem machen Kameras das Headset nur noch schwerer", gibt Abrash zu bedenken. Und: "Ideal wäre ein Netzhaut-Tracking."

Auch die VR-Akustik knöpft sich Michael Abrash vor. Heute hören wir Spiele und Anwendungen in Stereo, besser wäre jedoch binaurale Kunstkopfstereophonie. Das ist wahrlich keine neue Technik –Neumann baute die ersten Kunstkopfmikros bereits 1933 –, doch schon eine statische Aufnahme erfordert höchste Präzision. Im VR-Raum kommen dann noch nichtlineare Kopfbewegungen dazu, und so braucht man zur richtigen Audiosimulation Transferfunktionen, die gewaltige Rechenressourcen verschlingen, so Abrash.

22 Freiheitsgrade und 16 Millionen Pixel

Was Interaktionen in der virtuellen Wirklichkeit angehen, ist Michael Abrash relativ zufrieden. Seiner Meinung nach werden die Touch-Controller auch in fünf Jahren noch nicht zum alten Eisen gehören. "Die einzige Verbesserung wäre, wenn man seine Hand ohne Controller nutzen könnte", sagt Abrash. Doch die dafür notwendige Technik ist noch nicht mal am Horizont zu erkennen. Das soll nicht heißen, dass sich das Hand-Tracking nicht verbessern wird, doch eine komplette Erfassung einer Hand mit ihren 22 Freiheitsgraden ist eine ernsthafte Herausforderung. Auch wenn Markus Grebenstein vom DLR schon 2010 das Patent Verfahren zum Erfassen von Bewegungen einer menschlichen Hand einreichte.

Was die VR-Ergonomie angeht, besteht ebenfalls noch viel Innovationsbedarf. Michael Abrash: "In einer idealen Welt würden wir einfach ins Holodeck spazieren." Tatsächlich müssen wir jedoch klobige Headsets aufsetzen, auf deren Displays die virtuellen Wirklichkeiten abgebildet werden. Leichtere Materialien, bessere Unterstützung von Brillenträgern und eine schnurlose Verbindung mit genug Bandbreite stehen ganz oben auf Abrashs Wunschliste. Doch er weiß: "Heute gibt es noch keinen Standard, der in der Lage ist, 16 Millionen Pixel drahtlos und latenzfrei zu übertragen."

Mein Sofa steht im Urwald

Das letzte Puzzlestück auf dem Weg zur Zukunft heißt Computer Vision. Damit soll möglich werden, was Michael Abrash "Augmented VR" nennt: Die Erfassung einer kompletten Umgebung und dann ihre Wiedergabe und Modifizierung in der virtuellen Realität. So könnte ein erfasstes und rekonstruiertes Wohnzimmer mit VR-Inhalten vermischt werden, indem zwei Sofas und ein Sessel "freigestellt" und dann in einen Wald versetzt werden, in dem noch ein bereits ausgestorbener Dinosaurier herumstreift. Derweil sitzen zwei VR-Nutzer in der virtuellen Welt – als virtuelle Ebenbilder ihrer selbst.

"Doch das ist extrem komplex", sagt Michael Abrash. Im genannten Beispiel müssen nicht nur zwei Gesichter und vier Hände, sondern auch alle anderen Körperteile, Haare und Kleidung in Echtzeit erfasst werden. "Daran ist heute nicht einmal im Traum zu denken." Ein ernsthafterer Einsatzbereich für diese Technik wären virtuelle Arbeitsplätze, in denen über den ganzen Erdball verteilte Kollegen in einem ebenfalls virtuellen Konferenzraum zusammenkommen und diesen nach ihren Wünschen ausstatten können. "Es wird sicher noch andere Anwendungsbereiche geben, die eine so fortgeschrittene VR-Technik revolutionieren wird", ist sich Abrash sicher.

Die richtigen Probleme zur richtigen Zeit

Doch all diese Herausforderungen können Michael Abrashs Optimismus nicht bremsen: "Wir erschaffen heute eine Plattform, die bestimmt, wie wir in den nächsten Jahrzehnten arbeiten, uns unterhalten und ganz einfach leben werden." Mit zwei Zitaten schließt der Programmierer seinen Vortrag und markiert damit gleichzeitig noch einmal die zwei Kernpunkte, auf die es ankommt.

Billy Zelsnacks "Schon bald werden Computer schnell sein" verwendete Abrash schon vor 20 Jahren in einem Vortrag auf der Game Developers Conference. Mit anderen Worten: Ohne technischen Fortschritt sind die besten Ideen zum Scheitern verdammt. Gleichzeitig gilt aber auch, dass Fortschritt nicht von alleine passiert: "Damit sich technologische Revolutionen ereignen, müssen schlaue Leute zur richtigen Zeit an den richtigen Problemen hart arbeiten", sagte einst Abrashs Valve-Kollege Atman Binstock, der als Chief Architect ebenfalls seit 2014 bei Oculus arbeitet.

"Schaut euch einmal um, Freunde", ermuntert Michael Abrash seine 2500 Zuhörer. "Diese schlauen Leute – das seid ihr." (Roland Austinat) (odi)