Reinforcement Learning: Farama Foundation für Open-Source-Projekte gegründet
Die Non-Profit-Organisation möchte bestehende RL-Projekte standardisieren und langfristig weiterentwickeln – darunter Gymnasium, ehemals OpenAI Gym.
(Bild: sdecoret/Shutterstock.com)
Die Farama Foundation hat ihre Gründung bekanntgegeben. Unter dem Motto, sie sei die Zukunft des Reinforcement Learning, sollen unter ihrer Schirmherrschaft bestehende Open-Source-Projekte einen Raum für Standardisierung und Weiterentwicklung erhalten. Dazu zählt auch die ursprünglich von OpenAI gegründete Python Library für Reinforcement Learning namens Gym, die die Foundation als Fork unter dem Namen Gymnasium weiterentwickelt.
Das Reinforcement Learning, auf Deutsch als bestärkendes oder verstärkendes Lernen bezeichnet, umfasst Methoden des maschinellen Lernens, bei denen ein Agent mithilfe von Belohnungen selbstständig eine Strategie erlernen soll.
Aus Gym wird Gymnasium
Der Ursprung der Farama Foundation liegt in der Python Library PettingZoo, einer Entsprechung von Gym beziehungsweise Gymnasium für Multi-Agent-Umgebungen. Seit ihrem Erscheinen im Jahr 2020 hat sie eine weite Verbreitung erlangt und weist inzwischen über 850.000 Installationen via pip auf – was sie an dritter Stelle der weltweit meistgenutzten Reinforcement-Learning-Bibliotheken platziert.
Im Jahr 2021 übergab OpenAI die Verwaltung von Gym an die Gründer der Farama Foundation, nachdem das Unternehmen es seit Ende 2020 nicht mehr aktiv weiterentwickelt hatte. Das damals noch als Non-Profit-Organisation firmierende OpenAI hatte Gym 2016 als sein erstes Projekt veröffentlicht. Dabei handelt es sich um eine Open-Source-Python-Bibliothek zum Entwickeln und Vergleichen von Reinforcement-Learning-Algorithmen. Sie bringt eine Standard-API zum Kommunizieren zwischen Lernalgorithmen und -umgebungen sowie ein Standard-Set an Umgebungen mit, die mit der API kompatibel sind. Als Fork dessen bietet Gymnasium die gleichen Funktionen.
Wer in seiner Codebasis das zukunftsträchtigere Gymnasium anstatt des von OpenAI voraussichtlich nicht weiterentwickelten Gym verwenden möchte, braucht nur import gym mit import gymnasium as gym zu ersetzen. Auch lässt es sich mittels pip install gymnasium installieren. Selbst bei größeren Projekten soll das Upgrade keine Probleme bereiten, sofern zuvor die aktuellste Version von Gym genutzt wurde, denn Gymnasium 0.26.2 entspricht Gym 0.26.2. Eine Roadmap zeigt die weiteren Pläne der Farama Foundation für Gymnasium.
Weitere Projekte und Zukunftspläne
Neben PettingZoo und Gymnasium betreibt die Farama Foundation bereits einige weitere Projekte, darunter MAgent2, D4RL und Minigrid (ehemals gym-minigrid). Auch mit den Entwicklern weiterer Open-Source-Projekte für Reinforcement Learning befindet sie sich im Gespräch, und wer selbst seine häufig genutzte Software anbieten will, kann sich aktiv an die Farama Foundation wenden.
Ziel der Foundation ist es, Software langfristig zu unterstützen sowie Umgebungen zu standardisieren und Quality-of-Life-Features einzubringen. Zu diesen zählen umfangreiche Dokumentationswebsites wie für Gymnasium, eine einfache Installation und Support für verschiedene Architekturen und Betriebssysteme. Dabei unterscheidet die Farama Foundation zwischen den Reifegraden "Mature" für Projekte, die diesen Standards entsprechen, und "Incubating" für Projekte, die ihnen noch nicht entsprechen.
Als Zukunftsvision sieht die Foundation eine weitere Verbreitung von Reinforcement Learning, das derzeit kaum echte Anwendung findet und große Teams benötigt, in Form von "RLOps" als Entsprechung zu MLOps. Beispiele für die Anwendung seien die Automatisierung in der Produktion, Haushaltsgeräten und Robotern bis hin zu medizinischen Geräten wie Insulinpumpen. Reinforcement Learning soll gemäß dieser Zukunftsvision so einfach wie Supervised Learning funktionieren und sein Einsatz auch für kleine Teams und Studierende machbar sein.
Alle weiteren Hintergründe und Pläne lassen sich der Ankündigung entnehmen. Im GitHub-Repository sind die Projekte der Farama Foundation zu finden.
(mai)