Augmented Reality plus Gestenerkennung

Eine neue Software der HP-Tochter Autonomy legt Computergrafiken über Smartphone-Kamerabilder und erlaubt die Interaktion mit Handgesten.

Der IT-Riese HP hat sich vor kurzem entschlossen, das Geschäftssoftwarehaus Autonomy zu übernehmen. Dabei geht es dem Konzern besonders um die Entwicklungen der britischen Firma aus den Bereichen des maschinellen Lernens und der Verarbeitung unstrukturierter Daten. Doch Autonomy hat noch andere interessante Produkte entwickelt: Dazu gehört unter anderem Aurasma, eine Anwendung, die Gestensteuerung mit Augmented Reality (AR) auf mobilen Geräten verbinden soll.

Bei AR-Anwendungen werden computergenerierte Inhalte über das Bild aus der Kamera von einem Smartphone oder Tablet-Rechner überlagert. Das hilft etwa bei der Navigation oder bietet die Möglichkeit, interaktive Reiseführer zu erstellen.

Aurasma geht noch einen Schritt weiter: Die jüngste Version der Software, die sich derzeit in Entwicklung befindet, erkennt Handgesten. Ein Nutzer kann also seine Hand ausstrecken und vor die Kamera greifen, um dort mit virtuellen Inhalten zu interagieren. Bislang mussten AR-Inhalte stets über den berührungsempfindlichen Bildschirm navigiert werden. Eine Demonstration von Autonomy macht aus einem leeren Tisch ein Air-Hockey-Spiel: Nutzer verschießen den Puck, in dem sie mit den Händen wedeln.

Autonomys Standardsoftware erlaubt es Firmen, Daten zu erfassen und zu durchsuchen, mit denen textbasierte Systeme bislang Probleme haben. Beispiele sind Audioaufzeichnungen von Verkaufsgesprächen oder Videoaufnahmen von Überwachungskameras. "Wir benutzen das gleiche Grundprinzip bei Aurasma, um Bilder oder Szenen zu identifizieren und diese dann mit relevanten Inhalten zu überlagern", erklärt der zuständige Direktor Matt Mills.

Aurasma wird bereits eingesetzt. So verwendete sie das amerikanische "GQ"-Magazin, um Printseiten und Anzeigen lebendig werden zu lassen. Neu ist nun die Möglichkeit, hier auch eine Gestensteuerung einzusetzen. "Das macht die Sache noch interaktiver", erläutert Mills. Das sei ähnlich wie bei Microsofts Bewegungssteuerung Kinect: "Man greift mit seiner Hand in den Raum und die Inhalte reagieren."

Die Aurasma-App, die für iPhone, iPad und Android-Smartphones entwickelt wurde, generiert ständig einen neuen visuellen Abdruck von dem, was sich vor der Kamera befindet und vergleicht diesen mit gespeicherten Szenen. Wird ein Ort oder ein Gegenstand identifiziert, lädt Aurasma Videos oder Bilder nach und überlagert damit dann das Kamerabild. Nutzer können außerdem ihre eigenen Inhalte schaffen, indem sie ein Foto oder Video realen Orten und Gegenständen zuordnen. So kann dann beispielsweise ein riesiger Dinosaurierkopf im Smartphone hinter der Golden-Gate-Bridge auftauchen.

Aurasmas Hauptkonkurrent ist die niederländische Firma Layar, die an einer eigenen AR-Plattform arbeitet, der Nutzer Inhalte hinzufügen können. Allerdings konzentriert sich Layar bislang vor allem auf die GPS-Koordinaten, um Inhalte zu positionieren und begann erst vor kurzem damit, die Positionierung virtueller Objekte präziser zu erlauben. Gesten erkennt die Software noch gar nicht.

Mills zufolge kann Aurasma Objekte derart präzise tracken, dass damit AR-Handbücher möglich werden. In einer Demonstration richtete ein Mitarbeiter sein Smartphone auf die Rückseite eines Routers und ließ sich dann erklären, welcher Anschluss für welche Funktion gedacht ist.

Noch ist die AR-Nutzung allerdings alles andere als bequem, weil man sein Gerät stets auf Objekte richten muss. Science-Fiction-Autoren wie William Gibson dachten deshalb schon vor Jahren eher an Lösungen wie Spezialbrillen, die der Nutzer aufsetzt. Genau hier dürfte dann auch die Gestenerkennung wirklich praktisch werden, um beispielsweise virtuelle Knöpfe zu drücken. (bsc)