zurück zum Artikel

Interaktion verschiebt sich in virtuelle Realitäten – zu anfass- und greifbaren Benutzeroberflächen. Die physische Trennung wird Schritt für Schritt aufgehoben.

Am Donnerstag endete die CHI Conference on Human Factors in Computing Systems 2021 – die weltweit größte internationale Konferenz zur Mensch-Computer-Interaktion. Anschließend fanden noch konferenzbegleitende Workshops statt. Diese Artikelserie gibt einen Überblick über die Konferenz und aktuelle Forschungstrends und zeigt Möglichkeiten auf, wie man die Konferenzbeiträge nachträglich anschauen kann.

Seit 1982 findet die CHI-Konferenz (Ausprache "kai") im jährlichen Rhythmus an wechselnden Standorten weltweit statt. Für die HCI-Forscherszene (Human-Computer Interaction) ist die CHI eines der Highlights des Jahres, denn es handelt sich um die Top-Konferenz im HCI-Bereich. Einerseits bietet die CHI eine Plattform für Forschende, die ihre Ergebnisse einem internationalen Publikum zugänglich machen möchten, andererseits bekommt eben dieses Publikum einiges geboten.

Barrierefreiheit und Gleichstellung

Ein besonderer Fokus der CHI lag in diesem Jahr auf Gleichstellung und Barrierefreiheit. Im Eröffnungsvortrag von Chieko Asakawa zeigt die blinde Forscherin mehrere Möglichkeiten auf, wie Technologie den Alltag von Menschen mit Sehbeeinträchtigungen drastisch verbessern kann und mehr Selbstständigkeit ermöglicht. Dabei wies die Forscherin auch auf die Verantwortung der jeweiligen Entwickler hin, bereits vorhandene Mechanismen wie "Alt Text" (alternative Texte als Bildbeschreibung) wirklich umzusetzen, da diese sonst komplett wirkungslos seien. Als mehr zukunftsweisende Technologie für Menschen mit Sehbeeinträchtigungen stellte Chieko Asakawa ein Navigationsgerät vor, welches in einen Rollkoffer integriert ist. Die im Rollkoffer verbaute Sensorik – unter anderem ein Lidar – erkennt die Umgebung der Nutzenden und navigiert diese über eine Audioausgabe und hilft dabei Hindernissen auszuweichen. In ersten Studien des Rollkoffers nutzten blinde Anwender das Gerät und waren von dessen Leistung begeistert.

Auch in der zweiten Keynote [2] der US-amerikanischen Forscherin Ruha Benjamin ging es um Gleichstellungsthemen, jedoch wurden hier keine konkreten Technologien vorgestellt.

Innerhalb der Konferenz gab es mehrere Sessions (mit thematisch zueinander passenden Vorträgen), die sich mit Barrierefreiheit und Gleichstellung befassten. Forschende von Apple stellen eine Möglichkeit vor, fehlende Alt-Texte und weitere Metadaten aus den Smartphone-Anzeigen zu generieren [3]. Dadurch können Metadaten ohne eine Kooperation der Entwickler ermittelt werden.

Durchbrechen des Displays

Wie bereits in den letzten Jahren entwickelt sich auch in diesem Jahr die Interaktion zunehmend weg von Desktop-Computern und mobilen Endgeräten und verschiebt sich in erweiterte oder virtuelle Realitäten sowie anfass- beziehungsweise greifbare Benutzeroberflächen und Barrierefreiheit. Dadurch wird die physische Trennung zwischen den Anwendern und deren Daten, die aktuell noch durch das Display des jeweiligen Gerätes gegeben ist, Schritt für Schritt aufgehoben.

Über 30 Konferenzbeiträge befassten sich mit der Interaktion mit digitalen Daten durch sogenannte "Tangibles". Das sind physische Objekte, die Anwender anfassen können. Im Alltag gibt es bereits digitale Stiftlösungen, die sich per Knopfdruck in einen Radiergummi umschalten lassen. Tangibles können jedoch für eine Vielzahl von Interaktionen zum Einsatz kommen, um digitale Interaktion den Prinzipien aus der analogen Welt folgen zu lassen. Dies beginnt beim Erstellen von Dokumenten, erlaubt jedoch auch eine Umsetzung in planerischen Tätigkeiten oder im Gaming.

Umsetzung von Tangibles

Zunächst wurden allgemeine Prinzipien von Tangible Interaction vorgestellt. Britische Forscher untersuchten beispielsweise den Wahrnehmungszusammenhang zwischen verschiedenen haptisch erkannten Formen mit Farben und Emotionen [4]. Sie baten Versuchspersonen, verschieden geformten Tangibles Farben und Emotionen zuzuordnen. Dabei nahmen die Versuchspersonen die Formen lediglich durch Anfassen wahr, wie es in einer virtuellen Realität der Fall wäre. Je komplexer die Objekte waren, desto dunkler war die Farbe, die die Versuchspersonen zuordneten. Solche Erkenntnisse können für das Design von Tangibles genutzt werden, die Anwender nicht visuell erfassen.

Je nach konkretem Interaktionskontext ergeben sich verschiedene Herausforderungen bei der Umsetzung von Tangibles. Bei großen Displaywänden beispielsweise kann es notwendig sein, das Tangible an einer Oberfläche zu befestigen. Diese Herausforderung wurde durch französische Forschende angegangen. In ihrem Konzept WallTokens [5] stellen sie eine universelle Möglichkeit vor 3D-gedruckte Tangibles durch einen speziellen Saugnapf an der vertikalen Oberfläche präzise zu befestigen.

Kapazitive Tangibles

Eine weitere Herausforderung ist das Erkennen und Identifizieren von Tangibles. Das Konzept Itsy-Bits [6] von Forschenden der TU Darmstadt stellt 3D-gedruckte Tangibles vor, die durch handelsübliche Touchscreens ohne zusätzliche Elektronik erkannt werden können. Die Erkennung entsteht dadurch, dass ein kapazitives Material in das Objekt eingedruckt wird. Die Verwendung des Materials selbst stellt noch keine Neuerung dar, weil es bereits seit Jahren auf dem Markt verfügbar ist. Die TU-Forscher haben jedoch mittels Deep Learning Möglichkeiten gefunden, verschiedene Formen und Objektorientierungen wie Sterne auf dem Touchscreen zu erkennen.

Der Vorteil gegenüber bereits vorhandenen digitalen Stiftlösungen ist, dass die kapazitiven Tangibles gänzlich ohne Strom und interne Elektronik auskommen. Dies ist auch im oben erwähnten Konzept WallTokens umgesetzt. Die Nutzung des 3D-Druckes wird es in der Zukunft Anwendern ermöglichen, eigene Tangibles in individuellen Designs zu erstellen und selbstständig zu Hause zu drucken. Forscher der TU Darmstadt stellen ebenfalls eine Möglichkeit vor, 3D-gedruckte Benutzeroberflächen mit herkömmlicher Elektronik zu verbinden [7]. Dieses Prinzip nutzt ferromagnetische Strukturen zur Signalkommunikation und unterstützt eine schnelle Erstellung von Prototypen.

Feedbackumsetzung durch die Einbettung von Magneten

Die aktuell in Smartphones verbauten Touchscreens haben jedoch eine sehr geringe Touchauflösung mit Touchpixeln von durchschnittlich 4×4 mm² Größe. Dies kommt dadurch zustande, dass primär Finger für den Touch genutzt werden und diese Größe dafür ausreichend ist. Forschende der US-amerikanischen Carnegie Mellon University haben einen Ansatz vorgestellt, wie diese begrenzte Auflösung software-seitig vergrößert werden kann. Diese Technik würde es ermöglichen, die zuvor vorgestellten Tangibles noch besser zu erkennen, ohne dass eine Veränderung der Touchscreens-Hardware notwendig wird.

Die Verwendung des oben erwähnten kapazitiven Materials ist sehr vielseitig. Es wurde zum Beispiel dazu verwendet, das Griffbrett einer Gitarre zu erweitern. Durch die verbaute kapazitive Sensorik ist es möglich, das allseits bekannte Spiel "Guitar Hero" auf einer echten Gitarre zu spielen [8], ohne dass eine Audioanalyse notwendig wird. Zusätzlich kann die Sensorik für das Erlernen der Gitarre und für entferntes Musizieren verwendet werden.

Die bisher vorgestellten Arbeiten befassen sich fast ausschließlich mit der Erkennung und Befestigung von Tangibles. Möchten die Nutzer Feedback bekommen, müssen sie auf andere Hardware zurückgreifen. Diese beschriebene Lücke wird ebenfalls durch einige Forschungsarbeiten untersucht. Japanische Forscher beschreiben Möglichkeiten der Feedbackumsetzung durch die Einbettung von Magneten in Tangibles [9]. Die Magnete ermöglichen es beispielsweise, Schaltern einen dynamischen Widerstand zu geben, der abhängig von der Schalterposition ist.

Virtuelle Konferenz zu Pandemiezeiten

Die aktuelle Pandemie betrifft selbstverständlich auch die aktuelle Forschung. Die Konferenz fiel im letzten Jahr komplett aus und wurde dieses Jahr zum ersten Mal virtuell durchgeführt. Der ursprünglich geplante Ort war Yokohama in Japan.

Teilnehmende aus 79 Ländern waren live zur Konferenz zugeschaltet. Die Vorträge wurden durch die Autoren im Vorfeld aufgezeichnet und sind online auf YouTube verfügbar. Die Liveschalten in 79 Ländern erforderten einiges an Organisation und Flexibilität, so wurde jede Session zwei Mal gestreamt, um verschiedene Zeitzonen zu berücksichtigen. Zusätzlich zu jedem Vortrag gab es Fragerunden, in denen die Autoren live Fragen aus dem Publikum beantworteten. Demonstrationen neuer Technologien wurden in eigenen interaktiven Streams über Zoom angeboten. So konnten Demonstratoren live auf Fragen und Bedürfnisse ihres Publikums reagieren. Alles in allem eine gelungene Organisation, auch wenn die angebotenen Streams nicht immer gänzlich ruckelfrei liefen.

(bme [10])

URL dieses Artikels:
https://www.heise.de/-6046459

Links in diesem Artikel:
[1] https://www.heise.de/Datenschutzerklaerung-der-Heise-Medien-GmbH-Co-KG-4860.html
[2] https://www.youtube.com/watch?v=kDcz44ifdQw
[3] https://www.youtube.com/watch?v=Z0pv0ZqFnC0
[4] https://www.youtube.com/watch?v=QwKvjWsEjDs
[5] https://www.youtube.com/watch?v=GYNHY6sdIME
[6] https://www.youtube.com/watch?v=fI3zZz4fnMY
[7] https://www.youtube.com/watch?v=0AUrrtwaPVQ
[8] https://www.youtube.com/watch?v=YhLuCpgnaBg
[9] https://www.youtube.com/watch?v=he1jwF_DW0Q
[10] mailto:bme@heise.de

Copyright © 2021 Heise Medien