Das Spiel mit dem Raum

Sony will mit „Smart AR“ das Konzept der Augmented Reality in künftige Spielkonsolen integrieren. Das System kommt dabei ohne GPS-Daten oder Objektmarkierungen aus.

Augmented Reality (AR), die Überlagerung von realen Szenen mit Computer-generierten Informationen, gilt seit langem als eine der kommenden Technologien. Bisher wird sie jedoch nur in Nischen wie der industriellen Montage oder in Reiseführern für Smartphones eingesetzt. Sony hat nun das System „Smart AR“ vorgestellt, das künftig auf seinen Spielkonsolen laufen soll – und damit die „erweiterte Realität“ zu einer Mainstream-Technologie machen könnte.

Smart AR integriert Objekte aus der Umgebung eines Spielers in die Ansicht einer Playstation. So können plötzlich Spielfiguren auf einem Tisch erscheinen und auch auf Bewegungen reagieren.

Im Unterschied zu anderen AR-Systemen verwendet Sony keine Positionsbestimmungen durch Satellitensignale oder spezielle Marker, um ein virtuelles Objekt in der Aufnahme der realen Umgebung zu platzieren. Die Japaner setzen ausschließlich auf Algorithmen zur Objekterkennung.

Smart AR würde also auch dort funktionieren, wo nur ungenaue oder gar keine GPS-Daten zur Verfügung stehen, beispielsweise in Wohnungen. Zwar wird die Technologie dadurch komplizierter, hat aber den Vorteil, dass viel mehr Alltagsgegenstände als bisher ins Geschehen integriert werden können.

„Die Prototypen von Sony-Unterhaltungsgeräten der nächsten Generation werden mit dem System ausgestattet sein“, bestätigt Takayuki Yoshigahara, stellvertretender Leiter des Intelligent Systems Research Lab von Sony in Tokio. „Sony Computer Entertainment erwägt auch, die Technologie in künftige Software-Entwicklungsumgebungen einzubauen.“ Spieleentwickler könnten dann von Anfang an AR-Elemente in neue Konsolenspiele einbauen.

Mit der Objekterkennung schlägt Sony eine neue Richtung ein: Bisher hatte das Unternehmen mit zweidimensionalen Strichcodes – „CyberCodes“ – experimentiert, die für die Software als Anhaltspunkt dienten, wo sich ein Objekt befindet. Der neue Ansatz firmiert unter dem Fachbegriff „local feature extraction“, bei dem Merkmale eines realen Gegenstandes ermittelt werden, die fortan als Marker dienen, um dessen Bewegung zu verfolgen.

Auch die Ausrichtung des Objekts im Raum lässt sich damit erfassen, etwa, ob sich die Vorderseite in der Bewegung aus dem Bild wegdreht. Nur so lassen sich virtuelle Figuren durchgängig korrekt auf einem Objekt wie einem Tablett platzieren (siehe Video).

Zugleich baut Smart AR auch eine grobe dreidimensionale Karte des Raums auf, indem sich das System befindet. Hierzu werden Veränderungen von markanten Details ausgewertet, die sich aus den verschiedenen Kameraperspektiven ergeben. Auf diese Weise kann eine Spielfigur auch in der realen Umgebung agieren.

„Dass die Sony-Forscher den gesamten Raum tracken, ist neu“, sagt Tobias Hollerer, Experte für Mensch-Computer-Interaktion an der University of California in Santa Barbara. Auch Edward Rostens von der University of Cambridge, der selbst das AR-System "Popcode " für das iPhone mitentwickelt hat, findet den Ansatz interessant: „Wenn sie es schaffen, die verschieden technischen Methoden in einem tragbaren Gerät mit begrenzter Rechenleistung zum Laufen zu bringen, wäre das beeindruckend.“ (nbo)