OpenAI will Videospiele zum Training für AI-Software verwenden
Die Forschungseinrichtung hat eine Schnittstelle entwickelt, mit der intelligente Agenten Computer ähnlich wie Menschen bedienen können. Damit lassen sich AI-Programme beispielsweise mit Portal und Civilization trainieren.
- Rainald Menge-Sonnentag
OpenAI hat mit Universe ein Projekt vorgestellt, mit der intelligente Agenten Computer auf dieselbe Art bedienen wie menschliche Nutzer: Sie betrachten den Bildschirm und bedienen eine virtuelle Tastatur und Maus. Die Motivation dahinter ist, AI-Systeme im Umgang mit realen Anwendungen zu trainieren, ohne spezielle APIs oder sonstige Schnittstellen zu verwenden, mit der die Algorithmen auf die Software zugreift. Dazu startet Universe ein Programm auf einem entfernten Rechner über einem VNC-Client (Virtual Network Computing).
Im April hatte die Non-Profit-Organisation OpenAI, die positive Aspekte von maschinellem Lernen fördern will, mit Gym ein Toolkit vorgestellt, mit der sich RL-Algorithmen entwickeln und vergleichen lassen. RL steht für Reinforcement Learning, was sich mit bestärkendes Lernen übersetzen lässt. Maschinelle Agenten sollen sich über ein Belohnungssystem konsistent verbessern. Sie erkennen, welche Auswirkungen ihr Handeln hat, und lernen, zwischen kurzfristigem und langfristigem Nutzen abzuwägen. Gym war anfangs auf vorgefertigte Szenarien beschränkt, die entsprechende Schnittstellen beinhalteten. Zu den Trainingseinheiten gehören typische Kontrollprobleme aus der RL-Literatur, Brettspiele wie Go und Videospielklassiker wie Centipede und MsPacman.
Kommunikation mit der AI-Software
Universe erweitert durch die Schnittstellen zur Ein- und Ausgabe den Trainingsbereich auf nahezu beliebige Spiele und andere Problemstellungen. Auf der Website von OpenAI sind beispielsweise die PC-Spiele Portal, World of Goo, Civilization V und Starcraft 2 gelistet, wenn auch derzeit noch mit dem Vermerk "coming soon". Bereits einsatzbereit sind zahlreiche Flash Games und Übungen zur Interaktion mit Webseiten.
(Bild: OpenAI)
Die einzelnen Umgebungen sind als Docker Container umgesetzt, die jeweils zwei Server enthalten: Der VNC-Server übermittelt die Bildschirminhalte und empfängt die Eingaben über Tastatur und Maus, während ein WebSocket-Server die Belohnungssignale für das bestärkende Lernen übermittelt. Bei Videospielen bietet sich freilich dafür der in vielen Titeln enthaltene Punktestand als Quelle an. Die Macher haben eigens ein Texterkennungssytem entwickelt, das ein Convolutional Neural Network verwendet.
Weitere Informationen stehen im OpenAI-Blog. Demnach lässt sich prinzipiell jedes Spiel, jede Website und jede Anwendung, die sich in einen Docker-Container oder notfalls in eine Windows-VM verpacken lässt, zum Trainieren nutzen. Dazu gehören auch in einem Emulator gestartete Android-Apps. Microsoft will Universe für für die ML-Spielwiese (maschinelles Lernen) Project Malmo nutzen, die seit Juli quelloffen ist. (rme)
