Virtual Reality mit ChatGPT: Sprachgesteuerte Hand ersetzt Controller
Eine virtuelle Hand soll Sprachbefehlen folgen und Virtual Reality auch ohne Hände und Controller nutzbar machen – dank ChatGPT.
Die Steuerung von VR-Brillen könnte bald ohne Handtracking oder Controller funktionieren.
(Bild: Apple)
Ein Forscherteam der University of Michigan hat eine Software namens "HandProxy" entwickelt, die den Umgang mit Virtual Reality und Augmented Reality intuitiver machen soll. Statt Controller oder Handtracking soll künftig die Stimme reichen: Auf Zuruf bewegt sich eine digitale Hand, greift Objekte, verschiebt Fenster oder räumt sogar virtuelle Arbeitsflächen auf. Die Forschenden wollen damit die Barrierefreiheit verbessern und neue Einsatzmöglichkeiten in AR- und VR-Umgebungen erschließen.
Im Unterschied zu vielen bisherigen Sprachsteuerungen, die nur festgelegte Befehle wie "Menü öffnen" oder "Lautstärke ändern" verstehen, soll "HandProxy" flexibel auf Kontext reagieren können. Die Software basiert auf Open AIs Sprachmodell GPT-4o und erkennt laut den Entwicklern eigenständig, welche Handlung als Nächstes gemeint ist. Sagt etwa jemand "Greif den Pfirsich", während die Hand bereits ein anderes Objekt hält, lässt das System dieses automatisch fallen. Auch verkürzte Kommandos wie "Mach das nochmal" oder "Dreimal hintereinander" sollen richtig interpretiert werden.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Sprache ersetzt Handtracking
Der Doktorand Chen Liang, Erstautor der Studie, beschreibt HandProxy als eine Art "virtuellen Stellvertreter", der Sprachbefehle direkt in Handbewegungen übersetzt, ohne dass einzelne Anwendungen dafür angepasst werden müssen. Technisch nutzt die App dieselben Schnittstellen wie Handtracking-Systeme oder VR-Controller. Dadurch soll es auch mit bestehenden VR-Apps problemlos laufen, etwa in Spielen oder Konstruktionsumgebungen.
Mitautor und Informatikprofessor Anhong Guo ergänzt: "Mobile Geräte haben längst Assistenzfunktionen, doch in VR fehlen solche Alternativen fast vollständig." Mit HandProxy lasse sich dagegen nahtlos zwischen Sprache, Gesten und Controller wechseln. Besonders Menschen mit motorischen Einschränkungen könnten davon profitieren. Auch in Alltagssituationen wie beim Kochen oder Basteln wäre eine sprachgesteuerte Hand praktisch. AR-Brillen wie die für nächstes Jahr angekündigten Snap Specs bieten beispielsweise assistierende AR-Anwendungen für die Küche oder das Reparieren von Geräten.
Videos by heise
Erste Tests mit 20 Teilnehmenden verliefen laut den Forschern vielversprechend: Die meisten von den 781 Aufgaben wurden nach wenigen Versuchen erfolgreich ausgeführt. Probleme gab es bei Befehlen wie "Like das Foto", wenn das System den passenden Button nicht eindeutig erkannte. Insgesamt scheiterte die "HandProxy" bei 64 Aufgaben. Künftig soll die KI in solchen Fällen gezielt Rückfragen stellen, um Missverständnisse zu vermeiden.
Derzeit existiert "HandProxy" nur als Demo-App, doch langfristig könnte die Technik auch in reale Roboterarme einfließen. Ein Patent ist bereits beantragt, und das Team sucht nach Partnern für eine mögliche Markteinführung. Finanziert wurde das Projekt von der University of Michigan.
(joe)
