Roboter lernen allein und in der Realität
Ein Google-Team will Maschinen mehr Selbstständigkeit verleihen – schon ihr Lernprozess soll mit Hilfe verbesserter Algorithmen bald autonom vonstatten gehen.
(Bild: Google / Forscher)
- Karen Hao
Ein Rehkitz kann schon zehn Minuten nach seiner Geburt selbst stehen und innerhalb von sieben Stunden gehen. Zwischen diesen beiden Meilensteinen zeigt es ein bemerkenswertes und frenetisches Zappeln mit seinen Gliedern, um die richtige Technik zu finden.
Dieselbe Idee steht hinter von Künstlicher Intelligenz (KI) angetriebener Robotik. Autonome Roboter wie selbstfahrende Autos sind inzwischen zwar ein vertrautes Konzept, doch autonom lernende Roboter gibt es längst noch nicht. Mit bestehenden Algorithmen für Verstärkungslernen können Roboter zwar tatsächlich durch Versuch und Irrtum Bewegungen einüben, doch dabei werden noch intensive menschliche Eingriffe gebraucht: Jedes Mal, wenn der Roboter stürzt oder seine Trainingsumgebung verlässt, muss ihn jemand aufheben oder zurück auf die richtige Position schicken.
Forscher bei Google aber haben jetzt einen wichtigen Fortschritt in die Richtung von Robotern gemacht, die ohne solche Hilfe navigieren lernen können, wie sie in einem neuen Fachaufsatz mitteilen. Innerhalb weniger Stunden gelang es ihnen, einen vierbeinigen Roboter vollkommen eigenständig sowohl vorwärts als auch rückwärts laufen und nach links oder recht abbiegen zu lassen. Dazu nahmen die Forscher lediglich Veränderungen an bestehenden hochmodernen Algorithmen vor.
Die Arbeit setzt auf einer Studie von vor einem Jahr auf, in der die Gruppe erstmals herausfand, wie der Roboter in der realen Welt lernen könnte. Verstärkungslernen erfolgt üblicherweise in einer Simulation: Ein virtueller Doppelgänger des Roboters bewegt sich durch eine virtuelle Nachbildung der realen Umgebung, bis der Algorithmus robust genug für die Realität ist. Anschließend wird er auf den physischen Roboter übertragen.
Roboter vermeidet Schäden
Mit dieser Methode kann man während des Prozesses von Versuch und Irrtum Schäden an Roboter und Umgebung vermeiden, doch sie benötigt eine leicht zu simulierende Umgebung. Wie Kies verrutscht, wenn ein Roboter seinen Fuß darauf setzt, oder wie tief eine Matratze dadurch einsinkt, ist so schwierig zu berechnen, dass sich Simulationen hier nicht lohnen.
Vor diesem Hintergrund beschlossen die Google-Forscher, auf Simulationen zu verzichten und gleich in der echten Welt zu trainieren. Sie entwickelten einen effizienteren Algorithmus, der mit weniger Versuchen und somit weniger Irrtum auskommt – und innerhalb von zwei Stunden lernte ihr Roboter zu gehen. Weil sein Umfeld Variationen aufwies, war er in der Lage, sich rasch an ähnliche Umgebungen anzupassen, etwa mit Steigungen, Treppen und Hindernissen.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier ein externes Video (Kaltura Inc.) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Kaltura Inc.) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Trotzdem musste noch ein Mensch auf den Roboter aufpassen und hunderte Male eingreifen, sagt Jie Tan, einen der Autoren des Aufsatzes und leitendes Mitglied des Robotik-Teams bei Google Brain. „Das hätte ich am Anfang nicht gedacht“, erzählt er.
Auch dieses neue Problem nahm sich das Team vor. Zunächst grenzte es den Bereich ab, den der Roboter erkunden durfte, und sorgte dafür, dass er mehrere Manöver gleichzeitig einübte. Wenn der Roboter dann an den Rand des Bereichs gelangte, während er vorwärts gehen lernte, wechselte er die Richtung und lernte dabei rückwärts zu gehen.
Grenzen der Bewegungen
Zweitens gaben die Forscher Grenzen fĂĽr die versuchsweisen Bewegungen des Roboters vor und machten ihn so vorsichtig, dass wiederholte StĂĽrze keinen groĂźen Schaden anrichten. Nach solchen StĂĽrzen spielten sie einen weiteren fertigen Algorithmus auf, der dem Roboter beim Aufstehen half.
Mit diesen unterschiedlichen Optimierungen lernte der Roboter, auf unterschiedlichen Oberflächen autonom zu gehen, darunter fester Boden, eine Memory-Schaummatratze und eine geriffelte Fußmatte. Die Arbeit zeigt, welches Potenzial zukünftige Anwendungen haben, bei denen Roboter ohne menschliche Hilfe durch schwieriges und unbekanntes Terrain navigieren müssen.
„Ich finde diese Arbeit ziemlich spannend“, sagt Chelsea Finn, Assistant Professor an der Stanford University, die mit Google kooperiert, aber nicht an dem konkreten Projekt beteiligt war. „Den Menschen aus dem Prozess herauszunehmen, ist wirklich schwierig. Wenn Roboter autonomer lernen können, werden sie eher in der echten Welt lernen, in der wir leben, statt in einem Labor.“
Anpassbar an andere Roboter
Derzeit erfordere das Konzept allerdings noch ein System zur Bewegungserkennung über dem Roboter, um seinen Standort zu bestimmen, schränkt Finn ein. Dies wäre in der echten Welt nicht praktikabel.
In weiteren Schritten wollen die Google-Forscher ihren Algorithmus für unterschiedliche Arten von Robotern anpassen und erreichen, dass mehrere Roboter gleichzeitig in derselben Umgebung lernen können. Das Problem der Fortbewegung zu lösen, sagt Tan, sei entscheidend dafür, Roboter nützlicher zu machen.
„Viele Orte sind für Menschen gebaut, und wir haben Beine“, erklärt er. „Wenn ein Roboter keine Beine nutzen kann, wird er in der menschlichen Welt nicht navigieren können.“
(sma)
