Deep Reinforcement Learning: Huskarl verspricht schnelleres Prototyping
Das auf TensorFlow 2.0 aufbauende neue Open-Source-Framework Huskarl will mit Modularität und kürzeren Entwicklungszeiten punkten.
- Matthias Parbel
Mit einem ausgewiesenen Fokus auf Deep Reinforcement Learning (DRL) geht das neue Open-Source-Framework Huskarl an den Start. Erklärtes Ziel des von Daniel Salvadori entwickelten Frameworks ist es, das Implementieren, Testen, Verfeinern und Vergleichen von DRL-Algorithmen zu vereinfachen. Dazu ist Huskarl von Grund auf modular gestaltet und für schnelleres Prototyping ausgelegt und arbeitet auch nahtlos mit OpenAI Gym-Umgebungen zusammen.
Das DRL-Framework baut auf der Library TensorFlow 2.0 auf und greift immer dann, wenn Prägnanz und Verständlichkeit gefragt sind, auf die tf.keras-API zurück. Durch Abstraktion von der Interaktion auf Agenten-Ebene soll Huskarl Anwender dabei unterstützen, sich voll auf die Entwicklung und das Verständnis der Algorithmen konzentrieren zu können – und darüber hinaus auch helfen, Datenverluste zu vermeiden.
Integrierte Algorithmen-Bausteine
Algorithmen wie Advantage Actor-Critic (A2C) und Proximal Policy Optimization (PPO), die von Input aus mehreren gleichzeitigen Quellen profitieren, lassen sich mit Huskarl leichter beschleunigen, indem das Framework Berechnungen über mehrere CPU-Kerne hinweg parallelisiert. Zu den bisher implementierten Algorithmen zählen unter anderen Deep Q-Learning Network (DQN), Multi-step DQN und Deep Deterministic Policy Gradient (DDPG). Weitere wie etwa Soft Actor-Critic (SAC), Twin Delayed Deep Deterministic Policy Gradient (TD3) und PPO sollen folgen.
Von 22. bis 24. Oktober 2019 organisieren heise Developer, iX und der dpunkt.verlag die mittlerweile sechste Auflage der data2day. Im Programm der Konferenz rund um Big Data, Data Science sowie maschinelles Lernen finden sich verschiedene Vorträge rund um die Themen Reinforcement Learning, TensorFlow und Keras. Noch bis zum 30. August stehen Tickets zum Frühbucherpreis parat.
Detailliertere Informationen zu Huskarl, dessen Name im Altnorwegischen so viel wie Kreuzritter bedeuten soll, bieten der TensorFlow-Blogbeitrag von Salvadori sowie die GitHub-Seite des Projekts. Dort findet sich neben einigen anschaulichen Beispielen auch der Sourcecode zum Download. (map)
