App-Steuerung per Kopfbewegung: eBay stellt Open-Source-Projekt bereit
Die Technik soll es Nutzern mit motorischen Störungen ermöglichen, Apps per Kopfbewegung statt mit dem Finger zu steuern – auf einem iPhone X.
(Bild: eBay)
Die Handelsplattform eBay hat eine HeadSwipe genannte Demo-App für das iPhone X entwickelt, die sich per Kopfbewegung statt mit dem Finger steuern lässt. Dies könne das Online-Shopping für Nutzer mit motorischen Störungen vereinfachen, teilte das Unternehmen mit. Die im Rahmen eines Praktikums entwickelte Technik zur Steuerung hat eBay als Open-Source-Library auf Github zum Download bereitgestellt, um anderen Entwicklern eine Integration in eigene iPhone-Apps zu erlauben.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier eine Vimeo-Video (Vimeo LLC) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Vimeo LLC) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Kamera des iPhone X erfasst Kopfbewegungen und GesichtsausdrĂĽcke
Man habe einen "virtuellen Stylus" erstellt, der den Bewegungen des Kopfes nach oben, unten und zur Seite folgt und dadurch den Cursor auf dem Bildschirm steuert, erklärt der Entwickler des Projektes. Dafür habe man auf die dreidimensionale Erfassung des Gesichtes durch die TrueDepth-Kamera des iPhone X sowie Apples ARKit-Framework gesetzt. So werde es in der Demo-App möglich, zu scrollen, zwischen verschiedenen Seiten zu wechseln und schließlich ein bestimmtes Produkt zu kaufen ohne den Bildschirm ein einziges Mal mit dem Finger zu berühren.
Entwickler können Technik in eigene Apps integrieren
Die HeadGaze genannte Technik sei nicht nur für Personen mit motorischen Einschränkungen relevant, führt der Entwickler aus, sie könne beispielsweise auch die Steuerung einer Rezept-App erlauben, ohne dafür mit fettigen Fingern das Display berühren zu müssen. Zusätzlich zur Kopfsteuerung erforsche man derzeit auch eine App-Bedienung durch Augenbewegungen, teilte der Entwickler mit. Das Eye-Tracking wird durch Neuerungen von ARKit in iOS 12 möglich.
ARKit erlaubt im Zusammenspiel mit der Frontkamera des iPhone X auch eine detaillierte Erfassung von GesichtsausdrĂĽcken in Echtzeit, Apple selbst setzt die Technik fĂĽr Animojis und Memojis ein. DatenschĂĽtzer warnten im vergangenen Jahr, dies lasse sich auch durch Werbefirmen missbrauchen, bislang wurde aber kein derartiger Fall bekannt. Nutzer mĂĽssen Apps den Zugriff auf die iPhone-Kamera erst erlauben. (lbe)
