Konferenz RO-MAN: Wie Mensch und Roboter zusammen musizieren
Geht es um Mensch-Maschine-Interaktion, dann vor allem um Arbeit und Sicherheit. Aber Roboter können auch mit Menschen Musik machen.
(Bild: Lerner Vadim/Shutterstock.com)
Der letzte Ton kommt immer vom Schlagzeug. Das geht nicht anders, denn bei der gemeinsamen Improvisation von Mensch und Maschine erkennt die Künstliche Intelligenz (KI), die den Drum Computer steuert, das Ende des Musikstücks erst, wenn der Mensch am Klavier aufgehört hat, zu spielen. Mit den letzten Trommelschlägen kommt dann auch der dazu tanzende Roboter zum Stillstand.
Zusammen musizieren
Die Zusammenarbeit von Mensch und Roboter ist gegenwärtig ein viel diskutiertes Thema auf wissenschaftlichen Tagungen und in Fachzeitschriften. Dabei geht es häufig um Sicherheitsaspekte, etwa wenn Menschen in Fabriken und Werkstätten Seite an Seite mit Robotern arbeiten sollen. Ein wichtiger Aspekt ist aber auch das wechselseitige Erkennen von Intentionen. Forscher der schwedischen Örebro University haben jetzt bei der Konferenz RO-MAN ihre Forschungen vorgestellt, die in einem Bereich angesiedelt sind, wo das harmonische Miteinander aller Beteiligten unverzichtbar ist: in der Musik.
Hervorgegangen sind die Studien aus dem vom Philosophen Luis de Miranda und dem KI-Forscher Alessandro Saffiotti an der Örebro University etablierten Forschungsnetzwerk CREA (Cross-disciplinary Research on Effectual Anticipation). Um spontan miteinander musizieren zu können, müssten die Beteiligten aufeinander reagieren, aber auch die Absichten der anderen vorausahnen können, schreiben die Forscher in einer ersten Fallstudie. Darin beschreiben sie, wie sie mithilfe von Fuzzy Logic den virtuellen Schlagzeuger Strike-2 so steuern, dass er sich in Echtzeit auf das Spiel eines menschlichen Pianisten einstellen kann.
Über die musikalische Schnittstelle MIDI empfängt das System die Klaviertöne, extrahiert daraus Parameter wie Tempo, rhythmische Dichte, Zeit seit der letzten Note oder den Beat, und generiert daraus wiederum Parameter zur Kontrolle des Schlagzeugs. Zeitliche Veränderungen dieser Parameter, etwa eine Zunahme an Intensität und Komplexität, ermöglichen es der KI, Höhepunkte im Voraus zu erkennen und mit einem Trommelwirbel anzukündigen oder auch umgekehrt die Lautstärke zu reduzieren und verhaltener zu spielen. Voraussetzung dafür ist musikalisches Wissen, das ebenfalls mit Fuzzy Logic kodiert wurde.
Tanzen ohne Beine
Nachdem das Zusammenspiel von Mensch und Maschine bei öffentlichen Vorführungen im Mai und Juni 2019 erfolgreich demonstriert werden konnte, widmeten die Forscher sich dem nächsten Schritt: Nun sollte ein realer Roboter auf der Bühne dazu tanzen. Auch hierfür übernahm die KI nicht die volle Kontrolle über die Bewegungen des Roboters, sondern extrahierte aus der Musik lediglich Kontrollparameter, auf deren Grundlage der Roboter seine Tanzschritte plante. Wobei Schritte nicht wirklich zur Choreografie gehörten: Bei der Auswahl der Musik mussten die Forscher auf die begrenzten Möglichkeiten des verwendeten Pepper-Roboters nehmen, der keine Beine hat und auch keine schnellen Bewegungen oder plötzliche Richtungsänderungen ausführen kann.
In den drei Videos, die für eine Internetumfrage online gestellt wurden, tanzt er nun, ebenso wie beim ersten öffentlichen Auftritt am 31. Januar 2020 zum melodischen Jazzstück "Pepper‘s Dance", komponiert von Peter Knudsen. Pepper bedient sich dabei aus fünf Basis-Bewegungen, die er aufspalten, neu kombinieren und modifizieren kann.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes Video (Kaltura Inc.) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Kaltura Inc.) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Zukünftig wollen die Forscher ihren bislang rein wissensbasierten Ansatz durch Lernverfahren ergänzen. Dann soll auch das Tempo, das bislang noch vorgegeben wird, vom Roboter selbst aus den MIDI-Signalen erkannt werden. Und die körperlichen Beschränkungen sollen ebenfalls überwunden werden: Roboter mit Beinen sollen über die Bühne springen, ebenso wie Drohnen, nicht nur einzeln, sondern im Ensemble, dessen Bewegungen durch zentrale und dezentrale Verfahren koordiniert werden. Wann wohl die ersten Roboter in Clubs und Discotheken auftauchen? Es könnte schneller passieren, als bisher gedacht.
(mho)
