Machine Learning: Google veröffentlicht Framework für Reinforcement Learning
Das RL-Framework mit dem Namen Dopamine baut auf TensorFlow auf und soll gut reproduzierbare Ergebnisse liefern.
- Rainald Menge-Sonnentag
Das Google Brain Team hat ein neues Machine-Learning-Framework mit dem Namen Dopamine veröffentlicht, das auf das ebenfalls aus dem Hause Google stammende TensorFlow aufsetzt. Dass es den Namen des Glückshormons trägt, dürfte kein Zufall sein, denn das Framework Dopamine widmet sich dem Bereich des Bestärkenden Lernens (Reinforcement Learning, RL), das nach dem Belohnungsprinzip funktioniert. Vereinfacht gesagt versucht der Softwareagent selbsttätig die Belohnung zu erkennen und sie zu maximieren.
Videospiele als Benchmark
Maßgebliche Herausforderungen dabei sind die Nachvollziehbarkeit, die Flexibilität und die Komplexität. Letztere will Google so gering wie möglich halten. Der Code besteht aus insgesamt fünfzehn Python-Dateien, für die eine ausführliche Dokumentation bereitsteht. Zur Auswertung kommt das Arcade Learning Environment (ALE) ins Spiel, bei dem die Spielhalle im Namen Programm ist: Es bietet eine Schnittstelle zu zahlreichen Atari-2600-Spielen und bemisst die Herausforderungen an die RL-Systeme.
Im Bereich des Bestärkenden Lernens spielen Videospiele eine große Rolle, da sie eine oft für Menschen klar messbare Zielvorgabe haben, die die RL-Systeme erkennen und optimieren sollen. 2016 hatte OpenAI einen Trainingsbereich für RL-Algorithmen eröffnet, in dem die Softwareagenten unter anderem mit MsPacman und Centipede konfrontiert sind. Die Belohnung, die dabei typischerweise in der Punktzahl besteht, müssen die Systeme selbsttätig erkennen und optimieren.
Reproduzierbarkeit und Benchmarks
Um die Ergebnisse möglichst reproduzierbar zu halten, hat das Google Brain Team den Code mit der vollständigen Testabdeckung veröffentlicht, die als zusätzliche Dokumentation dienen. Außerdem folgt das Framework den erweiterten Empfehlungen zum Auswerten der Ergebnisse von ALE.
Vom 15. bis 17. Oktober findet in London die Minds Mastering Machines [M³] statt. Auf der von The Register und heise Developer veranstalteten Konferenz gibt es unter anderem eine Einführung in Reinforcement Learning.
Google hat zudem die Trainingsdaten der vier mitgelieferten Agenten über die von ALE unterstützten Spiele als pickle- und JSON-Dateien veröffentlicht. Erstere lassen sich mit dem Dopamine-Framework verwenden, während letztere zum Vergleich mit Agenten anderer Frameworks gedacht sind. Eine interaktive Webseite ermöglicht zudem die grafische Darstellung der Trainingsläufe.
Weitere Details lassen sich dem Google-AI-Blog entnehmen. Das Dopamine-Framework ist auf GitHub unter Apache-2-Lizenz verfügbar. Dort finden sich im Download-Bereich zusätzliche Dateien unter anderem zur Verwendung im Visualisierungstool Tensorboard.
(rme)
