App-Steuerung per Kopfbewegung: eBay stellt Open-Source-Projekt bereit
Die Technik soll es Nutzern mit motorischen Störungen ermöglichen, Apps per Kopfbewegung statt mit dem Finger zu steuern – auf einem iPhone X.
(Bild: eBay)
- Leo Becker
Die Handelsplattform eBay hat eine HeadSwipe genannte Demo-App für das iPhone X entwickelt, die sich per Kopfbewegung statt mit dem Finger steuern lässt. Dies könne das Online-Shopping für Nutzer mit motorischen Störungen vereinfachen, teilte das Unternehmen mit. Die im Rahmen eines Praktikums entwickelte Technik zur Steuerung hat eBay als Open-Source-Library auf Github zum Download bereitgestellt, um anderen Entwicklern eine Integration in eigene iPhone-Apps zu erlauben.
Kamera des iPhone X erfasst Kopfbewegungen und Gesichtsausdrücke
Man habe einen "virtuellen Stylus" erstellt, der den Bewegungen des Kopfes nach oben, unten und zur Seite folgt und dadurch den Cursor auf dem Bildschirm steuert, erklärt der Entwickler des Projektes. Dafür habe man auf die dreidimensionale Erfassung des Gesichtes durch die TrueDepth-Kamera des iPhone X sowie Apples ARKit-Framework gesetzt. So werde es in der Demo-App möglich, zu scrollen, zwischen verschiedenen Seiten zu wechseln und schließlich ein bestimmtes Produkt zu kaufen ohne den Bildschirm ein einziges Mal mit dem Finger zu berühren.
Entwickler können Technik in eigene Apps integrieren
Die HeadGaze genannte Technik sei nicht nur für Personen mit motorischen Einschränkungen relevant, führt der Entwickler aus, sie könne beispielsweise auch die Steuerung einer Rezept-App erlauben, ohne dafür mit fettigen Fingern das Display berühren zu müssen. Zusätzlich zur Kopfsteuerung erforsche man derzeit auch eine App-Bedienung durch Augenbewegungen, teilte der Entwickler mit. Das Eye-Tracking wird durch Neuerungen von ARKit in iOS 12 möglich.
ARKit erlaubt im Zusammenspiel mit der Frontkamera des iPhone X auch eine detaillierte Erfassung von Gesichtsausdrücken in Echtzeit, Apple selbst setzt die Technik für Animojis und Memojis ein. Datenschützer warnten im vergangenen Jahr, dies lasse sich auch durch Werbefirmen missbrauchen, bislang wurde aber kein derartiger Fall bekannt. Nutzer müssen Apps den Zugriff auf die iPhone-Kamera erst erlauben. (lbe)
