Gestensteuerung analysiert Schwarmverhalten

"Früher gab es Schalter und Knöpfe, heute gibt es Touchscreens und morgen wird es natürliche Eingaben durch Bewegungen in der Luft geben", ist Jens Schick überzeugt. Der Erfinder der Myestro-Technik hat die Gestensteuerung zunächst vor allem für den öffentlichen Raum konzipiert: Mit einer selbst entwickelten Stereokamera-Box entstehen interaktive Displays, die sich mit dreidimensionalen Gesten steuern lassen. So können etwa Stadtbummler auch nach Ladenschluss Kleider und Geräte auf Displays hinter den Schaufenstern aus jeder Richtung betrachten, und digital herumdrehen, erklärt David Wenger vom Gründerteam.

Das Team um Wenger und Schick hat die Gestensteuerung nun weiter vereinfacht und auf Smartphone-Hardware reduziert. Hier braucht man keinerlei Zusatz-Hardware, die eingebaute Kamera reicht: Alle Bewegungen in der Luft werden erkannt, auch die bekannten Wisch-Gesten und unabhängig davon, ob der Nutzer dicke Handschuhe trägt oder etwas in der Hand hält. Weil aus einer einzelnen Perspektive keine Tiefenbilder erstellt werden können, simuliert man Klicks durch ein kurzes Anhalten am jeweiligen Button.

Auf dem Mobile World Congress stellte das Team erstmals seine Weiterentwicklung vor. Mit ihr lässt sich künftig etwa Musik aus großer Entfernung mit einer Handbewegung lauter stellen. Ohne vom Sofa aufzustehen, steuert man den Mediaplayer des Tablets in der Docking-Station. Und beim Kochen hinterlässt auf dem Bildschirm niemand Fettspuren beim Scrollen durch die Rezepte.

Die weltweit zum Patent angemeldete Software erkennt Gesten durch das direkte Messen der Bewegungen. Steuerungen wie Microsoft Kinect oder Primesense nutzen vor allem teure Infrarotsensoren, die eine Tiefenkarte des Raumes liefern. Bei vollem Sonnenschein funktioniert das kaum, denn das ausgesendete IR-Licht geht darin unter. Außerdem nutzen die bisherigen Lösungen sogenanntes Template-Matching und inverse Kinematik, um mit Hilfe abgespeicherter Vorlagen etwa von Händen das Gegenstück im Bild zu erkennen – wurde eine Situation nicht vorhergesehen, stößt das System an seine Grenzen.

Beim Myestro-System erfassen dagegen Kameras, wie sie millionenfach verbaut werden, besondere Merkmalshäufungen im Bild und messen deren Geschwindigkeit. "Will man das Verfahren perfekt machen, benötigt man viel Rechenzeit. Doch wir reduzieren das Kamerabild auf seinen relevanten, größten Informationsgehalt und rechnen mit Wahrscheinlichkeiten, was die benötigte Rechenzeit um Faktor zehn verringert", erklärt Entwickler Friedrich Schick. Dabei werde das Gerät nicht langsamer, denn diese Rechenleistung passiere im Grafikchip.

So verfolgen die Algorithmen Objekte in Echtzeit und die Software errechnet aus den Daten zusammenhängende Merkmalsschwärme. Diese lösen dann bei entsprechenden Gesten die programmierten Interaktionen aus. Vorteil: Die Steuerung funktioniert auch dann, wenn keine herkömmliche Körperform vorliegt, also beispielsweise auch mit einem Gegenstand in der Hand. Dahinter steckt Gestalttheorie und statistische Bildverarbeitung, das Steckenpferd von Chefentwickler Jens Schick. (uk)