Portale in die Vergangenheit: Eine VR-App macht Erinnerungen begehbar
Black Mirror lässt grüßen: Die iPhone-App "Wist" erzeugt aus Videos begehbare Erinnerungen. Wir haben es ausprobiert.
Eine immersive Erinnerung, durch die Linsen einer Quest 3 gesehen.
(Bild: tobe)
Wist verwandelt aufgenommene Videos in raumfüllende Szenen, die Wist-CEO Andrew McHugh "räumliche Erinnerungen" nennt. Die AR-Konstrukte lassen sich in den echten Raum einblenden und mit einer Mixed-Reality-Brille wie Meta Quest oder Apple Vision Pro betreten. Die Technologie soll Erinnerungen auf eine Weise lebendig halten und erfahrbar machen, wie es bislang nicht möglich war.
Für die 3D-Rekonstruktion der Videos nutzt Wist verschiedene Datenquellen, darunter ein vom LiDAR-Sensor generiertes Tiefenbild sowie die Position und Orientierung des iPhones im Raum, ermittelt über die Bewegungssensoren. Da Wist die Rohdaten speichert, lassen sich die räumlichen Erinnerungen durch Updates der Rekonstruktions-Pipeline kontinuierlich verbessern. Die App unterstützt alle Pro- und Pro-Max-Modelle ab dem iPhone 13.
Keinerlei technisches Know-how erforderlich
Wir haben den Selbstversuch gemacht und Wist einen Nachmittag lang ausprobiert. Dafür ist derzeit ein Zugang zur Early-Access-Version via TestFlight erforderlich. Die Nutzung ist einfach und intuitiv: Die App startet direkt im Aufnahmemodus, sodass sich der gewünschte Moment wie mit einer gewöhnlichen Kamera-App sofort einfangen lässt. Danach beginnt die Verarbeitung des Videos, ein Vorgang, der derzeit noch mehrere Stunden in Anspruch nehmen kann. Sobald die 3D-Rekonstruktion abgeschlossen ist, erhält man eine Benachrichtigung. Die maximale Videolänge beträgt aktuell 40 Sekunden.
Videos by heise
Die "verräumlichten" Videos lassen sich per AR-Ansicht direkt in den Raum projizieren, wahlweise auf dem iPhone-Display oder deutlich immersiver mit einem Headset wie Meta Quest 3 oder Apple Vision Pro. Für die Geräte steht eine eigene Mixed-Reality-App zur Verfügung. Da die gespeicherten Erinnerungen vom Smartphone in die Cloud hochgeladen werden, ist kein umständlicher Datentransfer nötig: Die Szenen sind beim Starten der Anwendung sofort abrufbar.
Wist mit Quest 3 ausprobiert: ein bisschen Holodeck
Ihren vollen Reiz entfalten diese Szenen erst in einer Mixed-Reality-Brille. Dank weitem Sichtfeld und stereoskopischer Tiefe wirken die Motive lebendig und präsent: in unserem Fall ein Hund, der es sich in der sommerlichen Hitze auf einem Stück Rasen gemütlich gemacht hat. Dass das Haustier und die Umgebung in Originalgröße direkt vor einem erscheinen, verstärkt den Realitätseindruck noch.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Am Abend kehrten wir an denselben Ort zurück und legten die Aufnahme mithilfe des Passthrough-Modus exakt über die ursprüngliche Szene, um die räumliche Genauigkeit der 3D-Rekonstruktion zu testen. Sie fügte sich erstaunlich nahtlos in die reale Geometrie ein. Wir standen am selben Ort und blickten auf die Mixed-Reality-Projektion eines Hundes, der dort vor ein paar Stunden gelegen hatte.
(Bild:Â tobe)
Die Illusion bricht zusammen, sobald man sich allzu weit vom ursprünglichen Kamerastandpunkt entfernt. Objekte fransen aus und werfen durchscheinende Schatten: Leerstellen, die die Kamera nicht erfassen konnte und daher auch nicht rekonstruieren kann. Künftig könnte KI diese Lücken füllen. Derzeit irritieren diese Artefakte noch oder tragen, je nach Blickwinkel, zum dystopischen Charme der räumlichen Erinnerungen auf.
Immersive Erinnerungen: Diese Lösungen gibt es
Apple ist eines der wenigen großen Unternehmen, das Potenzial in der Idee immersiver Erinnerungen sieht. Es bewirbt Apple Vision Pro als ein Gerät, mit dem sich Erinnerungen eindringlicher festhalten und erleben lassen.
Mit dem Mixed-Reality-Headset und neueren iPhones lassen sich "Spatial Videos" im Rechteckformat aufzeichnen. Dahinter versteckt sich eine altbekannte Technik: stereoskopische Aufnahmen, die beim Abspielen in der Vision Pro oder anderen Headsets räumliche Tiefe vermitteln. Spezielle 3D-Kameras erzielen denselben Effekt, oft in Kombination mit einer Fischaugenlinse, die eine 180- oder sogar 360-Grad-Perspektive ermöglicht. Der Blickpunkt ist bei all diesen Lösungen fix, anders als bei Wist, das eine prinzipiell freie Perspektivänderung ermöglicht.
Mit visionOS 26 fĂĽhrte Apple "Spatial Scenes" ein, eine Funktion, die zumindest ansatzweise in diese Richtung geht: Sie verwandelt 2D-Fotos mithilfe generativer KI in multiperspektivische Kulissen. FĂĽr Videos ist diese Funktion nicht verfĂĽgbar.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Wist geht mit seinen räumlichen Erinnerungen über Apples Lösungen hinaus und nimmt dafür in Kauf, dass das Ergebnis unvollkommen wirkt. Eine Rundumsicht, bei der Personen oder Ereignisse aus jeder Perspektive vollständig sichtbar wären, kann allerdings auch Wist nicht bieten.
Für Momentaufnahmen dieser Art eignet sich eine Technik namens Gaussian Splatting, die inzwischen auch auf Meta Quest Einzug hält. Die Aufzeichnung bewegter Szenen bleibt jedoch eine erhebliche technische Hürde.
Wirklichkeit inspiriert Sci-Fi und umgekehrt
Welche emotionale Wirkung die von uns aufgezeichneten räumlichen Erinnerungen eines Tages haben werden, lässt sich noch nicht abschätzen. Dafür fehlt der zeitliche Abstand. Im größeren Zusammenhang und mit Blick auf langfristige Entwicklungen stellt sich die Frage, wie sich immersive Erinnerungstechniken auf die menschliche Identität auswirken werden und ob Nostalgie ab einem bestimmten Grad technischer Perfektion zur Sucht werden könnte. Ein Thema, das die Science-Fiction vielfach aufgegriffen hat.
Eine ĂĽberraschend optimistische Antwort darauf gibt die jĂĽngste Black Mirror-Staffel: In der Episode "Eulogy" gewinnt ein Mann durch technisch rekonstruierte Erinnerungen eine neue, heilsame Sicht auf seine Vergangenheit. Die darin gezeigte Technologie erinnert dabei stark an Wist und verwandte Techniken.
(tobe)
