SonicSense: Roboterhand erkennt Materialien und Objektformen akustisch
Zur Materialerkennung klopfen Menschen auf ein Objekt und hören quasi, um was es sich handeln könnte. Das und noch mehr gelingt auch einer Roboterhand.
Die an einem Roboterarm befestigte kĂĽnstliche Hand erkennt Objektformen und Materialien akustisch.
(Bild: Duke University)
Wissenschaftler der Duke University haben eine Roboterhand mit vier Fingern entwickelt, die durch bei Berührung von Objekten entstehenden Schwingungen erkennen kann, aus welchem Material der Gegenstand besteht und welche Form er hat. Das SonicSense genannte System könnte die Wahrnehmungsfähigkeiten von Robotern erheblich erweitern.
Ein Mensch klopft etwa auf einen Gegenstand, bei dem er nicht sicher ist, aus welchem Material er besteht. Aus der akustischen Rückmeldung erschließt er dann, welches Material es sein könnte. So können verschiedene Materialien wie etwa Holz von Kunststoff unterschieden werden. Der Mensch denkt darüber gar nicht nach, wenn er die akustischen Schwingungen interpretiert.
Ein Forschungsteam der Duke University hat diese menschliche Wahrnehmungsfähigkeit mit dem SonicSense-System künstlich nachgeahmt. Das System selbst und ihre Forschungsergebnisse haben die Wissenschaftler in der Studie "SonicSense: Object Perception from In-Hand Acoustic Vibration" zusammengefasst, die im Preprint auf Arxiv erschienen ist. Einem breiteren Publikum wollen sie ihre Forschungsarbeit auf der Conference on Robot Learning (CoRL 2024) vorstellen, die vom 6. bis 9. November in München stattfindet.
Akustische Wahrnehmung
Das System besteht im Wesentlichen aus einer Roboterhand mit vier Fingern, die an einem Roboterarm befestigt ist. In den Fingerspitzen sind Kontaktmikrofone eingebaut. Sie können Vibrationen akustisch aufnehmen, die beim Berühren eines Objektes mit der Hand entstehen. Dabei reicht es bereits aus, wenn die Hand das Objekt angreift. Etwa das Schütteln des Objektes kann die Genauigkeit der Aufnahme der Schwingungen noch verbessern. Die Mikrofone sind als Kontaktmikrofone ausgeführt, um Umgebungsgeräusche besser ausblenden zu können.
Die aufgenommenen akustischen Schwingungen interpretiert die Künstliche Intelligenz (KI) des SonicSense-Systems. Das System extrahiert aus den Signalen zunächst spezifische Frequenzmerkmale. Diese werden von einer darauf trainierten KI ausgewertet und einem Material zugeordnet. Die Wissenschaftler geben an, dass es auch möglich ist, die Form des Objektes zu erkennen. Dabei werden mindestens vier Interaktionen mit dem Objekt benötigt, um es einer Form zuweisen zu können, die in einer internen Datenbank bereits vorhanden ist. Handelt es sich um ein unbekanntes Objekt, werden 20 Interaktionen benötigt, um die Form eines Objektes zu bestimmen, schreiben die Forscher.
"SonicSense gibt Robotern eine neue Möglichkeit, zu hören und zu fühlen, ähnlich wie Menschen, was die Art und Weise, wie heutige Roboter Objekte wahrnehmen und mit ihnen interagieren, verändern kann", sagt Boyuan Chen, Professor für Maschinenbau und Materialwissenschaften an der Duke University. "Das Sehen ist zwar unverzichtbar, aber der Ton liefert zusätzliche Informationen, die dem Auge entgehen können."
Wie viele WĂĽrfel sind in der Box?
SonicSense haben die Wissenschaftler im Labor getestet und die Roboterhand eine Box mit mehreren WĂĽrfeln schĂĽtteln lassen. Das System konnte erkennen, wie viele WĂĽrfel sich in der Schachtel befanden. Ă„hnliches gelang den Forschern mit einer Flasche mit FlĂĽssigkeit. Durch SchĂĽtteln konnte SonicSense wahrnehmen, wie viel FlĂĽssigkeit sich in der Flasche befand. Das Erkennen von Objekten und deren Materialien gelang ebenfalls.
Die Kosten für SonicSense hielten die Wissenschaftler durch die Verwendung handelsüblicher Bauteile gering. Sie verwendeten etwa in den Fingerspitzen Kontaktmikrofone, wie sie auch von Musikern zur Aufnahme von Gitarrenklängen genutzt werden. Darüber hinaus griffen sie auf Standardbauteile sowie Komponenten aus dem 3D-Drucker zurück. Insgesamt konnten sie dadurch die Kosten auf etwas über 200 US-Dollar drücken.
Das SonicSense-System wollen die Forscher noch weiter verbessern. Die Idee ist, andere Sensoren, etwa für Druck und Temperatur, zu integrieren. Damit soll dann eine Roboterhand erschaffen werden, die über geschickte Manipulationsfähigkeiten verfügt, um Robotern die Durchführung von Aufgaben zu ermöglichen, die einen genauen Tastsinn erfordern.
(olb)