Reinforcement Learning: Roboterhund Mini Cheetah ist der bessere Torwart

Sehr bewegliche Roboter mit schneller Reaktionsfähigkeit auf Ereignisse sind eine Herausforderung, mit der sich ein Wissenschaftsteam der University of California und des Berkley’s Hybrid Robotics Lab beschäftigt hat. Dazu haben sie ein Reinforcement Learning Framework entwickelt, um den Roboterhund Mini Cheetah des MIT Biometic Robotic Labs zum reaktionsstarken, hochdynamischen Fußballtorhüter umzuwandeln.

Torhüter müssen auf in hoher Geschwindigkeit auf ein Tor zufliegende Bälle reagieren und die richtigen Bewegungen zur Abwehr ausführen. Danach müssen sie sofort wieder einsatzbereit sein, um einen möglichen nächsten Torschuss abwehren zu können. In der Regel erfordert dies sehr schnelle Reaktionszeiten von weniger als einer Sekunde.

Trainierte Fertigkeiten

Zur Lösung haben die Forschenden ein hierarchisches model-free Reiforcement Learning Framework entwickelt. Es teilt die an den Roboterhund gestellte Gesamtaufgabe in zwei Teilaufgaben auf. Die Bewegungssteuerung erfolgt auf niedriger Ebene, damit der Roboter die nötige Agilität erreicht. Nur so kann er einen schnellen Ball vom Überqueren der Torlinie abhalten. Die Planung erfolgt dagegen auf hoher Ebene. Hier wird entschieden, wie welche Torwartfertigkeiten und Bewegungen gemacht werden müssen, um genau dort zur Stelle zu sein, damit der Ball gehalten werden kann.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.

YouTube-Video immer laden YouTube-Video jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Dazu haben sie dem Mini Cheetah verschiedene Torwartfertigkeiten beigebracht, etwa das Springen in Ecken, schnelle seitliche Bewegungen und das Ducken, um den Ball in Bodennähe abfangen zu können. Danach muss der Roboter wieder auf den Füßen landen. Das Wissenschaftsteam hat dazu Referenzbewegungen manuell programmiert und in einer Simulation trainiert. Danach wurden die optimierten Bewegungsmuster auf den Mini Cheetah übertragen. Fliegt nun ein Ball auf das Tor, dann entscheidet das System, welche Bewegung die beste Aussicht auf Erfolg hat, um den Ball abzuwehren.

Ausprobiert haben die Forschenden das System auf einem kleinen Fußballfeld mit einer Torgröße von 1,5 m × 0,9 m. Der Ball wurde aus einer Entfernung von vier Metern auf das Tor geschossen, manchmal auch geworfen. Dabei gelang es dem Roboter, 87,5 Prozent der zufälligen Torschüsse abzuwehren. Überprüft haben die Wissenschaftler das mit einer Intel Real Sense D435i Tiefenkamera und einem Motion-Capture-System, mit der die Leistung des Roboters aufgezeichnet wurde.

Bei menschlichen Torhütern liege die Quote bei etwa 69 Prozent, sagen die Forschenden, auch wenn sich ein direkter Vergleich verbietet, denn das Verhältnis zwischen Torhütergröße, Ballgröße und Tor ist ein anderes. Außerdem schießen professionelle Fußballspieler vergleichsweise härter und präziser.

Die Wissenschaftler sehen sich mit ihrem Ansatz aber auf dem richtigen Weg: "Wir zeigen, dass das Multi-Skill-RL-Framework einen modellbasierten Planer deutlich übertrifft und in der Lage ist, die Spezialität jeder Fähigkeit angemessen zu nutzen." Den von ihnen eingeschlagenen Ansatz will das Team nun auch auf Roboter-Feldspieler ausweiten.

(olb)