Reinforcement Learning: Roboterhund lernt aufrechten Gang
Statt einen teuren Spezialroboter zu bauen, der den aufrechten Gang beherrscht, manipulieren Forscher einen Roboterhund.
(Bild: Chen Yu u. a.)
Ein Forschungsteam des Worcester Polytechnic Institute (WPI) und der ShanghaiTech University haben einen handelsüblichen vierbeinigen Roboter mit einfachen Stützen aus dem 3D-Drucker ausgestattet und ihm unter anderem durch verstärktes Lernen den aufrechten Gang beigebracht. Ziel der Forscher ist es, die Vorteile von schnell laufenden Vierbeinern mit den Vorteilen von Zweibeinern zu kombinieren, ohne dafür einen speziellen Roboter entwickeln zu müssen.
Roboter, die sich aus dem vierfüßigen Gang aufrichten und auf zwei Beinen gehen können, sind nicht neu. Allerdings wurden sie dann genau für diesen Zweck speziell entwickelt. Das hat einige Nachteile, wie die Forscher in ihrer wissenschaftlichen Studie "Multi-Modal Legged Locomotion Framework With Automated Residual Reinforcement Learning" anklingen lassen, die in IEEE Robotics and Automation Letters veröffentlicht wurde. So sind die Kosten für solche Roboter hoch, sie sind schwer und haben einen komplexen Aufbau.
Stützen und verstärktes Lernen
Um das zu vermeiden, griffen die Wissenschaftler auf einen vierbeinigen "Mini Cheetha"-Roboter von der Stange zurück, der vom prinzipiellen Aufbau her dem Roboterhund Spot von Boston Dynamics und seinen Varianten ähnelt. Der Roboter wurde ursprünglich vom Massachusetts Institute of Technology (MIT) entwickelt und wird vor allem in der Forschung eingesetzt. Dem Roboter verpassten die Forscher an den Hinterbeinen Stützen, die ihn bei bestimmter Position der Hinterbeine statisch so stabilisieren, dass er aufrecht stehen kann. Ästhetisch sei das zwar nicht, sagt Andre Rosendo, einer der beteiligten Forscher. Beim Aufrichten auf die Hinterbeine helfen diese Stützen aber und vermeiden ein Wegrutschen des Roboters. Die Forscher betonen, dass diese einfache mechanische Manipulation grundsätzlich an allen Robotern ähnlicher Bauart genutzt werden kann, um sie tauglich für den aufrechten Gang zu machen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Das allein reicht allerdings nicht. Die Wissenschaftler mussten dafür die Software des Roboters so verändern, dass sie ihn dazu bringt, auf zwei statt vier Beinen zu gehen. Nach Angaben der Forscher sei dies eine herausfordernde Aufgabe gewesen, denn das gesamte Robotersystem, die Hardware inklusive der Steuerung, sei nicht für den aufrechten Gang konzipiert worden. Entsprechend muss die Software die eigentlich für den gewünschten Zweck untaugliche Hardware manipulieren und beherrschen.
Dazu hat das Wissenschaftsteam ein Framework entwickelt, das hybride, auf Lernen basierende Algorithmen, die verschiedene Algorithmen des Verstärkungslernens (Twin Delayed Deep Deterministic Policy Gradients und Soft Actor Critic) sowie Black-Box-Parameteroptimierer (Evolutionary Strategy und Bayes'sche Optimierung) kombinieren, umfasst.
In Experimenten evaluierte das Forscherteam die Funktion zunächst in einer Simulation, dann am realen Roboterhund. In der Simulation wurden die besten Ergebnisse erzielt, am Roboterhund selbst sei die Leistung konkurrenzfähig ausgefallen. Wie das Video zeigt, kann sich der Mini Cheetah auf vier Beinen laufen, ohne dass die Stützen ihn dabei behindern. Beim Aufrichten auf die Hinterbeine helfen sie dabei, den Roboter zu stabilisieren. Das Gehen auf diesen "Füßen" fällt aber etwas ungelenk aus.
Rosendo sieht jedoch schon jetzt die Vorteile, die der Wandel vom vierbeinigen zum zweibeinigen Roboter ermöglicht: Mit vier Beinen kann sich der Roboter schnell bewegen. Nach dem Übergang zum aufrechten Gang, sind die Bewegungen zwar langsamer, aber die vorderen Gliedmaße können dann zur Objektmanipulation genutzt werden – ähnlich wie der Übergang zum aufrechten Gang beim Australopithecus. Die Wissenschaftler arbeiten bereits daran, die nötigen Roboterhände zu entwickeln.
(olb)