Apple Vision Pro: Was bringt das neue „Foveated Streaming“?

Apple hat visionOS 26.4 Beta vorgestellt und zu den neuen Funktionen zählt auch ein Framework für Foveated Streaming.

Apples Vision Pro bietet bislang nur eingeschränkte Möglichkeiten, auf die Rechenleistung eines externen Rechners zuzugreifen. Zwar lässt sich die 2D-Oberfläche eines Macs auf ein großes virtuelles Display spiegeln, VR-Apps können darüber jedoch nicht dargestellt werden. Eine entsprechende Lösung kündigte Apple auf der WWDC 2025 unter dem Namen „Spatial Rendering“ an, seither blieb eine weitere Konkretisierung jedoch aus.

Eine Alternative bietet das Open-Source-Tool ALVR. Damit lassen sich Spiele und Apps von SteamVR auf einem Windows- oder Linux-Rechner rendern und auf die hochauflösenden Displays der Apple Vision Pro streamen. Da das Tool die PSVR2-Controller unterstützt, bietet sich das für weit mehr als Flug- und Rennsimulationen an.

Mit der Veröffentlichung des Foveated-Streaming-Frameworks im Rahmen der visionOS 26.4 Beta tut sich bei Apple wieder etwas in diesem Bereich. Mit dem Framework erhalten visionOS-Entwickler die Möglichkeit, 2D- und VR-Inhalte von einem externen Rechner oder aus der Cloud auf Apple Vision Pro zu streamen. Entwickler müssen dafür die Streaming-Protokolle von Nvidia CloudXR in ihre Anwendung implementieren, können diese jedoch auf einem lokalen Rechner betreiben, ohne Nvidias Server zu nutzen.

In der Entwicklerdokumentation nennt Apple eine Reihe von Anwendungsfällen für das neue Framework: die Übertragung hochwertiger Spiele von einem leistungsstarken Rechner, CAD-Software sowie den Zugriff auf einen Remote-Desktop.

Zudem lassen sich lokal gerenderte Inhalte mit gestreamten kombinieren: Als Beispiel führt das Unternehmen einen Flugsimulator an, bei dem das Cockpit auf der Apple Vision Pro berechnet wird, während die grafisch aufwendige Außenumgebung von einem externen Rechner gerendert und in die VR-Brille übertragen wird.

Auch Steam Frame verlässt sich auf Foveated Streaming

„Foveated Streaming“ steht nicht nur für das Framework, sondern auch eine Technik gleichen Namens: Sie nutzt die Blickverfolgung des Headsets, um die Kodierqualität des Streams für jenen Bildbereich zu optimieren, auf den der Nutzer gerade blickt, während der periphere Sichtbereich stärker komprimiert wird. Dadurch steigt die wahrgenommene Bildqualität, während der Bandbreitenbedarf sinkt. Der Nutzer bekommt von diesem Trick normalerweise nichts mit.

Eine bestehende Anwendung, die von dieser Technik profitieren könnte, ist das bereits genannte Open-Source-Projekt ALVR. Wir haben nachgefragt, ob eine Implementierung erwogen wird, und werden diesen Artikel aktualisieren, sofern wir eine Rückmeldung erhalten.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmung wird hier ein externes Video (TargetVideo GmbH) geladen.

Videos immer laden Video jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (TargetVideo GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Foveated Streaming ist auch eines der zentralen Features von Valves kommender VR-Brille Steam Frame. Laut Valve kann Foveated Streaming die Bildqualität und die effektive Bandbreite um mehr als den Faktor zehn steigern.

Foveated Streaming ist nicht mit Foveated Rendering zu verwechseln. Bei letzterer Technik wird nicht die Kodierqualität des Streams, sondern die Bildberechnung im zentralen Blickbereich optimiert, was viel Rechenleistung sparen kann.

Beide Begriffe beziehen sich auf die Fovea, den winzigen Bereich im Zentrum der Netzhaut, der beim Fixieren eines Punktes für das scharfe Sehen sorgt. Außerhalb dieses Bereichs nimmt die Sehschärfe deutlich ab, was wegen der ständigen Blickbewegungen kaum auffällt. Ein Effekt, den sich diese Verfahren zunutze machen.

(tobe)