Humanoide Roboter spielen Fußball mit fließenden Bewegungen
Mittels bestärkendem Lernen haben Wissenschaftler des KI-Unternehmens Deep Mind humanoiden Robotern Fußballspielen beigebracht – und das richtige Hinfallen.
(Bild: OP3 Soccer (Screenshot))
Ein Wissenschaftsteam des KI-Unternehmens Deep Mind hat kleinen humanoiden Robotern durch Deep Reinforcement Learning (Deep RL) komplexe Bewegungsabläufe und strategisches Verständnis beigebracht. Bei externen Störungen verlieren die Roboter ihr Ziel nicht aus den Augen, ein Tor zu schießen. Die kleinen Roboter wurden dabei von den Wissenschaftlern des Öfteren zu Fall gebracht, was zur Kritik in der Social-Media-Gemeinde führte.
Die Forscher nutzen Deep RL, um den humanoiden Robotern das Fußballspielen anzutrainieren. Dabei konzentrierten sie sich darauf, ihnen das Spiel eins gegen eins beizubringen – ein Roboter spielt gegen einen anderen Roboter, also kein Teamplay. Wie aus dem wissenschaftlichen Paper "Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning" (PDF), der auf Arxiv veröffentlicht ist, hervorgeht, trainierten sie zunächst einzelne Fähigkeiten isoliert. Dazu gehörten Bewegungsfähigkeiten wie schnelles Fallen, Gehen, Laufen, Ball treten und mehr. Trainiert wurden die Roboter in einer Simulation mithilfe der physikalischen Open-Source-Engine MuJoCo.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Erst im Nachhinein wurden die einzelnen Fähigkeiten zusammengesetzt und miteinander verbunden. Dabei wechseln die Roboter zwischen den einzelnen Bewegungsabläufen "auf sanfte, stabile und effiziente Weise", wie die Forschenden schreiben. Danach wurden die Trainings auf reale Roboter übertragen. "Die Agenten entwickelten auch ein grundlegendes strategisches Verständnis des Spiels und lernten zum Beispiel, Ballbewegungen zu antizipieren und gegnerische Schüsse zu blocken".
Robust gegen Stöße
Ein wichtiger Teil der Fähigkeiten ist die Robustheit gegenüber Stößen. Das probierten die Forscher aus und zeigten es in einem veröffentlichten Video. Dabei stießen sie die kleinen Roboter mehrfach um oder hielten sie fest, um sie in ihrem Tordrang zu stoppen.
Das kam in sozialen Medien gar nicht gut an. Nutzer forderten dazu auf, die Roboter nicht zu "missbrauchen". "Lasst ihn einfach in Ruhe Fußball spielen", kommentierte einer bei Twitter. Doch die Versuche der Wissenschaftler hatten einen tieferen Sinn, denn die Roboter lernen durch diese Störungen das Aufstehen und sicherere Bewegungen durchzuführen.
(olb)