Armband übersetzt Gebärden

Forscher arbeiten an einer Technik, mit der sich Hörbehinderte im Alltag besser verständigen können.

Ein Paar Myo-Armbänder mit Gestenerkennung könnten in Verbindung mit einem Computer oder Smartphone künftig als Übersetzungshilfe für Gebärden dienen. Daran forschen Wissenschaftler an der Arizona State University (ASU) im Rahmen des Projekts Sceptre. Sie nutzen die Armbänder, um einer Software eine Reihe wichtiger Gebärden aus der American Sign Language (ASL), der in den USA und Kanada populärsten Gebärdensprache, beizubringen.

Sinn der Übung: Führt ein Hörbehinderter die Gebärde durch, soll das Programm sie erkennen und dann das dazu passende Wort (oder den dazu passenden Satz) in Textform auf einen Bildschirm bringen. So ergäbe sich ein simultaner, automatischer Gebärdenübersetzer.

Ziel der Forscher ist es, Kommunikation insbesondere in Notsituationen zu vereinfachen, etwa beim Arzt oder im Krankenhaus. Hörbehinderte müssten dann nicht mehr auf geschriebene Worte zurückgreifen.

Die Idee, Gebärden per Software zu übersetzen, ist nicht neu – so werden etwa bereits Kameras zur Erkennung verwendet. Der Myo-Ansatz soll aber einfacher sein, wie das ASU-Team in seinem Paper ausführt.

Die Myo-Armbänder sollen sich besonders gut für das Projekt eignen, weil sie nicht nur Trägheitssensoren für die Bewegungserkennung enthalten, sondern auch die Elektromyographie unterstützen, mit der Muskelaktionen zu ermitteln sind. So lassen sich verschiedene Fingerstellungen bestimmen.

Die Software wurde bisher auf eine Anzahl von ASL-Gesten trainiert, kann aber auch einzelne Buchstaben und Zahlen von 0 bis 10 erkennen, während ein Gebärdensprecher die Myo-Armbädner trägt.

In der Trainingsphase wird jeder Begriff wie etwa "Pizza", "glücklich" oder "orange" drei Mal wiederholt. Danach konnte Sceptre die Gebärde in fast 98 Prozent aller Fälle erkennen. In einer Videodemonstration trägt Teammitglied Prajwal Paudyal das Armband und zeigt verschiedene Gebärden, deren Übersetzung dann auf einem Computerbildschirm erscheint – "den ganzen Morgen" etwa oder "Kopfschmerzen" oder "ich kann nicht schlafen".

Auch wenn die Gebärden derzeit noch als Text erscheinen, könnten sie natürlich auch in Form von Sprache ausgegeben werden. Beim aktuellen Prototypsystem sind die Myo-Geräte mittels Bluetooth-Funktechnik noch mit einem Computer verbunden. Die nächste Version wird auf einem Smartphone laufen, da sich zwei der Armbänder mittlerweile gleichzeitig an ein Handy koppeln lassen. "Idealerweise sollte ein Nutzer die Technik überall verwenden können", sagt Paudyal.

Roozbeh Jafari, Juniorprofessor am Center for Remote Healthcare Technologies and Systems der Texas-A&M-Universität, arbeitet an ähnlichen Ideen, nutzt aber eigene Sensoren statt Hardware von der Stange.

Seiner Ansicht nach müssen noch einige Hürden genommen werden, bis ein Produkt wie Sceptre wirklich bereit für Endanwender ist. Bei der Verwendung von Elektromyographie-Sensoren am Körper müssten diese beim Anlegen für optimale Genauigkeit nämlich stets neu kalibriert werden, wenn sie sich nicht an der exakt gleichen Stelle befinden.

Zudem müsste das System Gesten auch dann erkennen, wenn sie leicht abweichend durchgeführt werden – jeder Gebärdensprachler hat seinen eigenen Stil. Grundsätzlich bewege sich die Forschung hier aber "in die richtige Richtung", so Jafari. (bsc)