Virtual Reality: Mit ein paar Fingertippern ins virtuelle Büro
Forscher der ETH Zürich arbeiten an einer Sensortechnik, die Handbewegungen und Fingertippen mittels Machine Learning in VR-Umgebungen übersetzt.
(Bild: Screenshot/ETH Zürich)
Ein Team der Eidgenössischen Technischen Hochschule Zürich (ETH) hat eine Nutzerschnittstelle für Virtual Reality entwickelt, bei der mittels zweier Sensorbänder und Kameras die Bewegungen von Fingern und Händen erfasst werden. Dabei zeichnet sich das "TapID" getaufte System dadurch aus, dass es intuitiv erlernbar ist und sich dank vergleichsweiser günstiger Hardware gerade auch für den produktiven Einsatz eignet.
"Mit VR werden heute vornehmlich Inhalte konsumiert", erklärt Christian Holz, Professor am Institut für intelligente interaktive Systeme an der ETH Zürich, dessen Team das System entwickelt. "Gerade bei produktiven Tätigkeiten, etwa bei klassischen Büroarbeiten, haben sich die Technologien noch nicht etabliert." Dabei sieht Holz im Büro großes Potenzial: Im virtuellen Office wären Menschen nicht mehr an einen Bildschirm und Eingabegeräte gebunden, sie könnten ihre Aufgaben dreidimensional und intuitiv mit den Händen erledigen.
Weniger umständlich
Bislang sind die Schnittstellen für VR oft umständlich, ungenau oder teuer. Auch spezielle Handschuhe sind als Interaktions-Gerät bekannt, werden aber häufig in der Ausführung "one size fits all" geliefert, und müssen häufig erst einmal kalibriert werden. Auch sind sie nicht gerade preisgünstig. "Mit einem Handschuh hat man immer eine Schicht zwischen echter Haut und virtueller Welt", meint Holz.
Motion Tracking mittels Markern oder Elektroden, die auf die Hand oder den Arm aufgeklebt werden, ist eine weitere Möglichkeit, Handbewegungen in den VR-Raum zu übertragen. Allerdings gibt es auch hier klare Einschränkungen, erklärt Holz, am stärksten bei mobilen Systemen. Auf einem langen Flug etwa, in einem engen Flugzeugsitz, habe man kaum Bewegungsspielraum – und man könne sich da kaum Elektroden auf die Oberarme kleben.
Heutige VR-Systeme tracken die Bewegungen häufig mithilfe von Infrarotlicht und Kameras, die die Hände auch "sehen" können müssen. "Wenn man die Arme immer hochhalten muss, wird das schnell ermüdend", erklärt Holz. "Ein normaler Arbeitsprozess, also die Interaktion mit dem System über mehrere Stunden, ist so nicht denkbar." Wer dann noch Schreibarbeiten hat und auf einer virtuellen Tastatur tippt, stößt auf zusätzliche Schwierigkeiten. Die Finger bewegen sich nur geringfügig, was Kameras unter Umständen nicht gut erfassen. Auch fehlt das gewohnte haptische Feedback einer mechanischen Tastatur.
Einfache Hardware
Hier setzen Holz und sein Team mit TapID an. Das System besteht aus recht einfacher Hardware: Ein Armband mit je zwei Beschleunigungssensoren für jedes Handgelenk. Die Sensoren messen die für jede Fingerbewegung typischen Vibrationen. Diese "Input-Events" werden in Echtzeit von einem Machine-Learning-Algorithmus verarbeitet, der anhand der Sensordaten die Finger- und Tippbewegungen erkennt.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
In Kombination mit dem Kamerasystem einer VR-Brille, welches die Position der Hände erfasst, lässt sich eine Bewegung präzise erfassen. Die Hand bewegt sich dabei nicht mehr in der Luft, als Eingabefläche dienen passive Oberflächen, etwa eine normale Tischplatte, eine Wand oder aber der eigene Körper. Die Eingabeflächen gewähren nicht nur ein gewohntes haptisches Feedback, sondern bieten sich auch an als Unterlage zum Ausruhen von Händen und Armen.
Einen prominenten Einsatzbereich der Entwicklungen seiner Forschungsgruppe sieht Holz im Bereich "Mobile VR". Unternehmen wie Microsoft, Facebook oder Magic Leap arbeiteten bereits an der Entwicklung der Miniaturisierung von VR-Equipment, vor allem an kleinen leichten Datenbrillen. "Das werden sie schaffen – eine der wesentlichen Fragen dürfte aber dann sein, wie sind die virtuellen Anwendungen zu bedienen", sagt der ETH-Forscher. Da käme TapID ins Spiel, denn "die Menschen sind ja heute bereits das Arbeiten mit Berührungseingabe gewohnt, vertraut mit einer Vielzahl von berührungssensitiven Geräten, wie Tablets, Smartphones et cetera."
Klein und leicht
Die TapID-Armbänder sind so klein und leicht, dass sie überall mit hin genommen werden können, meint Holz, außerdem ließen sie sich für ein paar Euro herstellen. Und wer bereits ein Fitness-Tracker-Armband wie Fitbit oder eine Smartwatch mit Beschleunigungssensor hat, könnte diese künftig vielleicht auch für TapID nutzen – wenn Hersteller das unterstützen und die Signale der Sensoren bereitstellen. Im Labor haben Holz und seine Kollegen das bereits erfolgreich ausprobiert.
Eines der übergeordneten Ziele von Christian Holz ist die sogenannte "virtual collaboration": Menschen, die unabhängig von ihrem physischen Aufenthaltsort virtuell so zusammenarbeiten können, als seien sie zusammen in einem Raum. Klassische Produktsoftware wie Powerpoint oder Word gibt es bereits für Geräte mit Touch-Interface. "Wir haben uns überlegt, diese Applikationen auch in VR zu nutzen, wo die Nutzungsmöglichkeiten noch mal erheblich ausgeweitet werden können", erläutert Holz. "TapID könnte einer Entwicklung in dieser Richtung gehörigen Schwung verleihen."
Zunächst einmal werden die ETH-Forschenden ihre Entwicklung Ende März an der Konferenz IEEE VR präsentieren. Anschließend wollen sie TapID mit mehr Testpersonen optimieren und weitere Anwendungen entwickeln.
(vbr)
