Reinforcement Learning: Roboterhund lernt dynamischeres Laufen und Springen
Roboterhunde bewegen sich oft ungelenk vorwärts. Wissenschaftler haben ihnen beigebracht, wie sie selbstständig dynamische Hindernisse überwinden können.
(Bild: Zipeng Fu)
Wissenschaftler der Stanford University und des Shanghai Qi Zhi Institutes haben es sich zur Aufgabe gemacht, die meist unbeholfen wirkende Fortbewegung vierbeiniger Roboter dynamischer zu gestalten. Die Vierbeiner sollen so fit gemacht werden, um bei Rettungseinsätzen Hindernisse geschickter zu überwinden. Mithilfe von KI-Algorithmen, Reinforcement Learning und 3D-Tiefenkameras zum Sehen gelingt das.
Die von den Wissenschaftlern entwickelten Algorithmen verleihen einem handelsüblichen Roboterhund die Fähigkeit, sich autonom fortzubewegen, Hindernisse selbstständig zu erkennen und die zur Überwindung nötigen Bewegungen angepasst selbst durchzuführen. Entscheidend sei, dass der Roboterhund autonom agieren könne, schreiben die Forscher in dem wissenschaftlichen Paper "Robot Parkour Learning" (PDF), das auf der kommenden Conference on Robot Learning, die vom 6. bis 9. November in Atlanta stattfindet, vorgestellt werden soll. Die Algorithmen sind Open Source und in einem Github-Projekt frei verfügbar.
Der Roboterhund ist dadurch in der Lage, physische Herausforderungen einzuschätzen, sich eine breite Palette an Bewegungsfähigkeiten "vorzustellen" und umzusetzen, mit denen ein Hindernis überwunden werden kann.
"Wir kombinieren Wahrnehmung und Steuerung, indem wir Bilder von einer am Roboter angebrachten Tiefenkamera und maschinelles Lernen verwenden", sagt Zipeng Fu, einer der beteiligten Wissenschaftler an der noch unveröffentlichten Studie. "All diese Eingaben werden verarbeitet, um die Beine zu bewegen, um über, unter und um Hindernisse herumzukommen."
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Herkömmliche Lernmethoden basieren häufig auf komplexen Belohnungssystemen, die auf spezifische Hindernisse abgestimmt sind. Sie lassen sich nur mit hohem Aufwand an neue Umgebungen mit neuen Hindernissen anpassen, schreiben die Wissenschaftler. Bei ähnlichen Methoden lernen die Roboter anhand von Daten aus der realen Welt, die Agilitätsfähigkeiten von echten Tieren zu imitieren. Diesen Robotern fehle es jedoch an vielen Fähigkeiten und sie könnten nicht sehen.
Vereinfachtes Verstärkendes Lernen
Die Stanford-Wissenschaftler verfolgen daher einen anderen Ansatz und kombinierten Verstärkendes Lernen mit visueller Wahrnehmung. Die Wissenschaftler nutzten dazu lediglich die bereits vorhandenen Sensoren und Kameras, die die Roboterhunde integriert hatten. Dazu entwickelten sie einen Algorithmus auf der Grundlage eines Computermodells, den sie verfeinerten und dann auf zwei reale Roboterhunde übertrugen. Die beiden Roboter ließen sie auf Grundlage der Algorithmen auf jede nur erdenkliche Art und Weise in einem speziell aufgebauten Robodog Parkour bewegen. Bei Erfolg wurden die Roboterhunde belohnt. Durch das Verstärkende Lernen erlernt der Algorithmus und damit der Roboterhund nach und nach, wie er eine neue Aufgabe am besten bewältigen kann.
Der gestraffte Belohnungsprozess sorgt dafür, dass beim Reinforcement Learning nicht zu viele Variablen ausgewertet werden müssen. Entsprechend weniger Rechenleistung wird benötigt und der Lernprozess fällt insgesamt effektiver aus, schreiben die Forscher.
"Es ist eigentlich ziemlich einfach", sagt Chelsea Finn, Professorin für Informatik an der Stanford University und Hauptautorin der Studie. "Wir richten uns hauptsächlich danach, wie weit sich der Roboter vorwärtsbewegt und wie viel Kraft er dafür aufwendet. Mit der Zeit erlernt der Roboter komplexere motorische Fähigkeiten, die es ihm ermöglichen, voranzukommen."
Die Roboterhunde testete das Forschungsteam in umfangreichen Experimenten in schwierigen Umgebungen mit verschiedenen Hindernissen. Den Robotern gelang es, Hindernisse zu erkennen und zu überwinden, die mehr als das Anderthalbfache ihrer eigenen Körperhöhe hoch waren. Gräben, die mehr als das Anderthalbfache ihrer Körperlänge betrugen, konnten sie ebenfalls überspringen. Zudem konnten sie unter Hindernissen hindurchkriechen, die etwa drei Viertel der Höhe des Roboterhundes entsprachen. Weiterhin gelang es den Robotern, sich durch Neigen durch enge Spalte zu zwängen, die schmaler waren als die Breite des Roboterhundes.
(olb)