Reinforcement Learning: DeepMind präsentiert eine neue Bibliothek für Python
Acme hilft Entwicklern bei der Programmierung neuer Algorithmen und möchte die Lesbarkeit von RL-Agenten verbessern.
(Bild: Phonlamai Photo/Shutterstock.com)
Das auf künstliche Intelligenz spezialisierte Unternehmen DeepMind hat die neue Library Acme für die Programmiersprache Python veröffentlicht. Sie enthält eine Sammlung von Reinforcement-Learning-(RL)-Agenten und Agentenbausteinen. Die Bibliothek soll die Entwicklung von Algorithmen angesichts immer komplexer werdender RL-Programme vereinfachen.
Mit Acme möchte DeepMind Agenten bereitstellen, die nicht nur als Referenzimplementierung bekannter Algorithmen dienen, sondern auch als Ausgangsbasis für neue. Dabei soll Acme ausreichend Flexibilität bieten, um auch ganz neue Wege einzuschlagen. Entwickler erhalten mit Acme mehrere Einstiegspunkte in Reinforcement Learning auf unterschiedlichen Komplexitätsebenen. KI-gesteuerte Agenten können in verschiedenen Skalierungen von Executions laufen.
Acme soll das Schreiben neuer Algorithmen vereinfachen
Acme stellt Entwicklern drei primäre Methoden zur Verfügung: select_action gibt Auskunft über die zu ergreifenden Maßnahmen, observe zeichnet die Beobachtungen aus der Umgebung auf. Darüber hinaus hat die Bibliothek eine update-Methode im Gepäck, um den Agenten zu aktualisieren. Details zu diesen Verfahren finden sich in der Dokumentation der Bibliothek.
Die Minds Mastering Machines Online am 16. Juni bringt sechs praxisrelevante Vorträge für den nächsten Schritt der Machine-Learning-Projekte im Unternehmen.
Die Entwickler hinter Acme verfolgen gemäß der Ankündigung vor allem die folgenden drei Ziele: Zum einen möchten sie die Reproduzierbarkeit der eigenen Methoden und Ergebnisse ermöglichen, damit Entwickler verstehen, was ein RL-Problem schwierig oder einfach macht. Zum anderen möchte Acme das Schreiben neuer Algorithmen erleichtern und die Lesbarkeit von RL-Agenten verbessern.
Was ist Reinforcement Learning?
Reinforcement Learning ist eine Methode des Maschinellen Lernens. Der Begriff hat seinen Ursprung in der Psychologie. Ein Agent agiert mit einer Umgebung und erlernt selbstständig eine Strategie, um eine möglichst gute Belohnung herauszuschlagen. Der Agent erhält beim Generieren eigener Trainingsdaten keine Hinweise, welche Handlung in welchem Szenario die beste ist. Anhand der Belohnungen lernt er zu verstehen, welche Handlung welchen Nutzen hat und wie er die Belohnungen maximieren kann. Mit Reinforcement Learning ließen sich bereits nennenswerte Fortschritte in den Bereichen Videospiele und Robotik bis hin zu selbstfahrenden Taxis erzielen.
Weiterführende Informationen können dem Ankündigungsbeitrag auf der offiziellen Webseite von DeepMind sowie dem GitHub-Repository zu Acme entnommen werden.
(mdo)
