Zeig's dem Handy

Mit Gestensteuerung will Microsoft die Bedienung von Smartphones noch einfacher und intuitiver machen.

In Pocket speichern vorlesen Druckansicht
Lesezeit: 5 Min.

Mit Gestensteuerung will Microsoft die Bedienung von Smartphones noch einfacher und intuitiver machen.

David Kim formt mit der Hand eine imaginäre Pistole. Fast wie es kleine Kinder tun, wenn sie Cowboy und Indianer spielen. Peng – der junge Microsoft-Forscher drückt den imaginären Abzug, und eine kleine, leuchtend rote Kugel fliegt auf dem vor ihm aufgebauten Display direkt in das Ziel. Doch der Sensor am Handgelenk, den Kim da vorführt, ist weit mehr als ein Kinderspiel. "Digits", wie der Prototyp aus dem Microsoft-Labor genannt wird, wertet die Arm- und Handbewegungen seines Trägers aus und gibt sie an einen Computer oder ein Smartphone weiter, die mit diesen Gesten gesteuert werden können. Mit einer Handbewegung etwa ließe sich nicht nur ein Computerspiel lenken, sondern auch ein Anruf annehmen oder ablehnen – selbst wenn das Telefon noch in der Tasche steckt. "Das Gerät versteht, was der Nutzer tut, statt ihn zu zwingen, die Dinge in einer bestimmten Art und Weise zu machen", sagt Kim.

Warum gelingt das erst jetzt? Rein technisch gesehen ist das Problem der Gestenerkennung schließlich längst gelöst. Bisher jedoch, betont Kim, seien alle Technologien, die zurzeit verwendet werden, zu klobig, umständlich und brauchen zu viel Energie. Für die Steuerung eines mobilen Gerätes seien sie daher nicht geeignet.

Datenhandschuhe beispielsweise – ursprünglich entworfen als Schnittstelle zur "virtuellen Realität" – gibt es seit Anfang der 1980er-Jahre. Die ersten Handschuhe dieser Art waren ausgestattet mit speziellen Sensoren an den Fingergelenken und Fingerspitzen. Darauf folgende Modelle lassen zumindest die Fingerkuppen frei, damit ihr Träger besser greifen kann. Die Handschuhe erfassten Handgesten mithilfe von Lichtleitfasern, die in das Gewebe eingearbeitet sind. Doch niemand wolle ständig solche Handschuhe tragen, nur um ein Gerät durch Gesten steuern zu können, meint Kim.

Ähnlich ungeeignet für mobile Anwendungen ist auch die Kinect, seit 2010 als Eingabegerät für Spielkonsolen auf dem Markt. Die Sensorleiste, die mit Spezialkameras Haltung und Gestik eines Nutzers mit bis dahin unbekannter Präzision und Schnelligkeit erkennt, erwies sich zwar als so erfolgreich, dass Microsoft auch eine Schnittstelle zur Steuerung von Windows bereitstellte. Der Nachteil aber: Das Gerät, dessen Technologie von dem kleinen israelischen Unternehmen PrimeSense entwickelt wurde, braucht eine stationäre Stromversorgung und kann Gesten nur dann erkennen, wenn der Nutzer mindestens 1,50 Meter vom Sensor entfernt ist.

Auf der Elektronikmesse CES kündigte PrimeSense eine verkleinerte Version dieses Sensors an. Schon 2014 soll der "Capri" genannte Sensor dem Unternehmen zufolge in ersten Mobilgeräten verbaut werden. Technische Daten zur Genauigkeit oder dem Energieverbrauch des Sensors gibt es allerdings noch nicht.

Ob Kims Lösung handlicher als Capri wird, muss sich zeigen. Bislang ist der Prototyp noch ziemlich klobig. Mit einem Klettband hat Kim ein streichholzschachtelgroßes Kästchen an seinem Handgelenk befestigt. Daneben ist ein Infrarotlaser, ein kleines Röhrchen so groß wie ein Fingerhut, der die Finger beleuchtet. In dem Kästchen befindet sich eine handelsübliche Schwarz-Weiß-Kamera, auf deren Objektiv ein Infrarot-Filter befestigt ist. Die Finger reflektieren unterschiedlich viel Licht in die Kamera. Eine Software wertet die Lichtreflexe aus und berechnet daraus die Position der Finger. Dabei nutzen die Forscher den Umstand, dass die menschliche Hand zwar sehr beweglich ist – sie verfügt über 30 "Freiheitsgrade" –, die Finger sich aber in der Regel nicht komplett unabhängig voneinander bewegen. "Wir werten nur fünf Punkte aus", sagt Kim. Das spart gleichzeitig Rechenleistung und Energie.

Die Software füttert das Punktmuster in ein mathematisches Modell der Hand, das daraus die wahrscheinlichste Position der Finger errechnet. Bis auf einen Zehntel Millimeter genau wird die Position der Finger erfasst. Eine "Inertial Measurement Unit" (IMU) in dem Kästchen liefert die absolute Position des Unterarms und der Hand im Raum. "Wir können Gesten erkennen oder die Position und den Winkel jedes Fingergliedes weitergeben", sagt Kim. So könnte die an das Gerät angeschlossene Software die Gesten auch selbst auswerten.

Zu beantworten ist nun noch die Frage, wie Smartphones unbewusste Gesten von tatsächlichen Kommandos unterscheiden können. "Aber dieses Problem haben wir beim Touchscreen ja auch gelöst", sagt Kims Forschungsgruppenleiter Shahram Izadi. Denkbar sei beispielsweise, dass man zusätzlich zur Geste noch ein Codewort ausspreche oder die Geste eine Zeit lang hält.

All dies ist zwar noch Zukunftsmusik. Izadi ist allerdings überzeugt: Die Erweiterung des Touchscreens in den dreidimensionalen Raum hinein werde "das nächste große Ding". Dann werde die Benutzung von Computern "so einfach und natürlich wie die Zubereitung von einer Tasse Kaffee", schwärmt der Informatiker. Computernutzer wären endgültig Zauberer. Schade nur, dass der britische Science-Fiction-Schrift-steller Arthur C. Clarke diese Entwicklung nicht mehr erlebt. "Jede hinreichend fortschrittliche Technologie", hatte er 1972 in einem Essay geschrieben, "ist von Magie nicht zu unterscheiden". (wst)