MIT: Taktile smarte Handschuhe helfen beim Erlernen neuer Fähigkeiten
Smarte Handschuhe können Anwendern per haptischem Feedback zeigen, welche Bewegungen sie durchführen sollen. So lassen sich neue Fertigkeiten erlernen.
Die smarten Handschuhe des MIT können vielfältig eingesetzt werden.
(Bild: MIT)
Wissenschaftler des Computer Science and Artifical Intelligence Laboratory (CSAIL) des Massachusetts Institute of Technology (MIT) haben zusammen mit Forschern weiterer Institute einen smarten Handschuh entwickelt, der Abläufe haptisch erfassen und wiedergeben kann. Damit könne etwa das Spielen eines Instruments erlernt oder dazu genutzt werden, um Menschen andere physische Fähigkeiten beizubringen. Darüber hinaus soll der Handschuh es erleichtern, Roboter aus der Ferne zu steuern und Virtual-Reality-Anwendungen (VR) intensiver zu erleben.
Die Forscher nutzten eine Stickmaschine, um taktile Sensoren sowie haptische Aktoren nahtlos in die Handschuhe zu integrieren, wie sie in dem wissenschaftlichen Paper "Adaptive tactile interaction transfer via digitally embroidered smart gloves" beschreiben, der in Nature Comunications erschienen ist. Die Aktoren geben haptisches Feedback in Form einer Vibration. Allerdings sind diese Reaktionen nicht nur auf Berührungen beschränkt, sondern werden – sofern nötig – auch im freien Raum ausgelöst, um die Hand je nach Aufgabe zu optimalen Bewegungen zu führen. Dabei werden die haptischen Aktoren an unterschiedlichen Stellen der Hand ausgelöst.
Die Handschuhe müssen dazu allerdings erst an den Träger angepasst werden. Dazu haben die Wissenschaftler ein spezielles digitales Herstellungsverfahren entwickelt, das eine Anpassung an die Hand der Nutzerin oder des Nutzers ermöglicht. Die Hand wird dazu digital vermessen. Eine vom Computer angesteuerte Stickmaschine erstellt dann die Handschuhe mit den eingenähten Sensoren und haptischen Aktoren. Das dauert lediglich zehn Minuten. Die Anpassung der haptischen Reaktionen erfolgt auf Grundlage eines maschinellen Lernmodells, das zuvor mit zwölf Benutzern trainiert worden war. Das erlaubt es, das Feedback nur innerhalb von 15 Sekunden zu personalisieren.
"Die größte Herausforderung bei der Vermittlung taktiler Interaktionen ist, dass jeder Mensch haptisches Feedback anders wahrnimmt", sagt Yiue Luo, Hauptautor der Studie. "Dieses Hindernis hat uns dazu inspiriert, einen maschinell lernenden Agenten zu entwickeln, der lernt, adaptive Haptik für die Handschuhe des Einzelnen zu generieren, und ihnen so einen praxisnahen Ansatz zum Erlernen optimaler Bewegungen vermittelt."
Klavierspielen lernen
Die Handschuhe probierten die Wissenschaftler in mehreren Experimenten aus. Zunächst ließen sie eine Person mit den smarten Handschuhen eine einfache Melodie auf einem Klavier spielen. Die Abfolge der Fingerbewegungen wurde dabei aufgezeichnet. Danach sollte ein Proband diese Melodie mithilfe der Handschuhe nachspielen. Dazu wandelte ein mittels Machine Learning angelernter Agent die Sequenz in ein haptisches Feedback um. Sobald die Hände des Probanden über den entsprechenden Abschnitt der Klaviatur schwebten, vibrierten die Aktoren an den Fingern, die die Taste auslösen sollen.
Das Erlernen des Klavierspielens durch die smarten Handschuhe unterscheidet sich fundamental von dem, wie üblicherweise gelernt wird. Herkömmlicherweise beobachten die Schüler ihren Klavierlehrer beim Spielen, lernen, wo sich die Tasten befinden und übernehmen seine Bewegungen. Mit den Handschuhen werden dagegen die physischen Interaktionen direkt geteilt und dienen dann als Anweisungen für die auszuführende Bewegung.
In einem weiteren Experiment haben die Wissenschaftler Probanden zwei Videospiele mit den Handschuhen spielen lassen. Dabei wurde ihnen zeitabhängiges Feedback gegeben, um ein Rhythmusspiel zu bestehen und bei einem Rennspiel Münzen einzusammeln und das Fahrzeug auf Kurs zu halten. Bei beiden Spielen schnitten die Probanden, die die Handschuhe mit optimierter Haptik trugen, besser ab als solche, deren Handschuhe nicht optimiert worden waren. Außerdem schlugen sie sich besser als Spieler, die ganz ohne die smarten Handschuhe auskommen mussten.
Teleoperation von Roboter
Zusätzlich testeten die Forscher die Handschuhe bei der Fernsteuerung von Robotern. Die Handschuhe sollten dabei helfen, Kraftempfindungen auf einen Roboterarm zu übertragen, um ihn so ein feinfühligeres Greifen beizubringen. Der Roboter erlernte dadurch, unterschiedliche Brotsorten so zu halten, dass sie nicht deformieren. Robotersysteme können mit den erlernten Fähigkeiten etwa in der Fertigung präziser arbeiten, was die Effektivität und Sicherheit dieser Systeme erhöht.
Auch in VR-Anwendungen können die Handschuhe des MIT eingesetzt werden, um etwa haptisches Feedback aus der virtuellen Welt zu bekommen. Die Nutzer können die virtuelle Welt und darin befindlichen Hindernisse ertasten und erhalten ein stärkeres immersives Erlebnis. In professionellen VR-Anwendungen könnten die smarten Handschuhe etwa in Trainings von Chirurgen, Feuerwehrleuten und Piloten eingesetzt werden, Bereiche, in denen taktiles Feedback wichtig ist.
Die Wissenschaftler denken nun darüber nach, auch anderen Körperteilen ein haptisches Feedback zu verschaffen. Das könnten etwa Füße, Hüften und weitere Körperteile ein. Dazu müsste die Schnittstelle allerdings erweitert werden, denn bisher eignet sie sich lediglich als Hilfe für recht einfache Bewegungen wie etwa das Drücken einer Taste oder das Greifen eines Objekts.
(olb)