Reinforcement Learning, Teil 3: Neuronale Netze mit Atari-Spielen trainieren

Ins Netz gegangen

Gerhard Völkl

Reinforcement Learning lässt sich gut mit Videospielen ausprobieren – im Beispiel mit TrensorFlow und Python.

Q-Learning, das von DeepMind entwickelte Verfahren zum Lernen durch Belohnung, lässt sich in Python mit der Bibliothek TensorFlow durch einen Bildvergleich vereinfacht nachbilden.
Zum Einsatz kommt dabei das Python-Paket OpenAI gym, das Atari-Spiele laufen lässt. Dabei empfiehlt es sich für das Beispielprogramm, die Umgebung in einem Docker-Container nachzubilden.
Für die Berechnung einer möglichst optimalen Belohnung nutzt der Algorithmus von DeepMind zwei neuronale Netze, ein Ausgangs- und ein Zielnetzwerk.
Damit das Programm nicht nur jeweils aus der letzten gemachten Erfahrung lernt, hält der Replay-Speicher gemachte Erfahrungen fest, die nach dem Zufallsprinzip später als Eingaben für den nächsten Lernvorgang dienen können.