Doublepoint will die Smartwatch zur Maus und zum Controller machen
Finger zusammenpressen zum Klicken, Hand bewegen zum Navigieren: Doublepoint macht die Hand mithilfe einer Smartwatch zum Eingabegerät.
(Bild: Alexander Spier)
Handgesten mithilfe der Smartwatch sollen PC, Tablet, Fernseher oder auch Smart-Home-Geräten steuern. Darauf baut das finnische Start-up Doublepoint auf der CES 2024. Statt zur Maus oder einem Controller zu greifen, sollen User in Zukunft auf der Couch einfach per Handgeste den nächsten Netflix-Film auswählen, das Licht dimmen oder in VR und AR virtuelle Objekte manipulieren.
Dank der in die Smartwatch integrierten Sensoren erkennt die Software, wenn der Anwender Zeigefinger und Daumen aneinander tippt. Laut den Entwicklern reicht dafür eine handelsübliche Smartwatch; auf der Messe hat Doublepoint vor allem Samsungs Galaxy Watch im Einsatz. Prinzipiell sollte aber jede andere WearOS-Uhr funktionieren.
Über die bereits im Play Store vorhandene App Wowmouse meldet sich die Uhr als Eingabegerät an einem mit Bluetooth verbundenen PC, Tablet, VR-Headset und anderen mit Bluetooth-Mäusen kompatiblen Geräten. Im Mausmodus mappt die Software die Bewegung im Raum auf eine 2D-Ebene, die Fingergeste dient als Linksklick.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes Video (Kaltura Inc.) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Kaltura Inc.) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Mit einer Pixel Watch klappte das im Selbstversuch noch nicht richtig, die Uhr wollte sich nicht als Eingabegerät mit dem Notebook verbinden. Zudem hakte es noch bei der Gestenerkennung. Diese musste der Autor wesentlich deutlicher und langsamer ausführen als bei der Galaxy Watch. Grund sind laut den Entwicklern die fehlenden Trainingsdaten: Die Software wurde bisher vorwiegend mit der Samsung-Uhr angelernt.
Mehr Gesten mit der passenden Hardware
Die Ziele sind allerdings ambitionierter als nur ein Mausersatz. Eine der Demos zeigte die Handgeste im Zusammenspiel mit einer smarten Philips-Hue-Birne: Nach Aktivierung per Fingergeste reichte es, das Handgelenk zu drehen, um die Helligkeit zu ändern.
Im Zusammenspiel mit einer AR-Brille mit Eye-Tracking ist es zudem möglich, einfach auf ein Objekt zu schauen und dieses mit der Pinch-Geste zu manipulieren. Dabei muss die Hand nicht im Bild sein; das ist ein Vorteil im Vergleich zur Handerkennung über integrierte Kameras, wie es viele VR-Headsets und auch Apples Vision Pro implementieren.
Ein von Doublepoint entwickelter Prototyp einer Smartwatch ermöglicht mehr Gesten als nur das Zusammenführen der Finger. Da die Finnen mit dem Eigenbaumodell Zugriff auf alle Rohdaten haben, statt nur der vom jeweiligen Smartwachhersteller für Apps gefilterteten Daten, lassen sich feinere Bewegungen verfolgen und interpretieren. Über ein SDK sollen Gerätehersteller und Softwareentwickler diese Gesten in eigene Projekte integrieren können. Ziel von Doublepoint ist die Integration der eigenen Technik in Uhren anderer Hersteller.
Apple hat bei seiner Watch bereits gezeigt, dass sich andere Bewegungen wie das Ballen der Faust sicher unterscheiden lassen. Diese "AssistiveTouch"-Gesten dienen derzeit vor allem als Unterstützung für bewegungseingeschränkte Menschen.
(asp)
