Künstliche Intelligenz: Poker-KI Libratus kennt kein Deep Learning, ist aber ein Multitalent
Tuomas Sandholm und seine Mitstreiter haben Details zu ihrer Poker-KI Libratus veröffentlicht, die jüngst vier Profispieler deutlich geschlagen hat: Bei dem Algorithmus handelt es sich nicht um Deep Learning und er kann mehr als nur Poker.
In einem aufsehenerregenden Turnier Ende Januar besiegte das KI-System Libratus vier professionelle Poker-Spieler im Texas Hold‘em ohne Limit. Anders als bei Schach oder Go besitzt die KI bei der Poker-Variante nur unvollständige Informationen über den Spielstand. Spiele dieser Art galten bislang als schwer für Computer, da sie stark von Intuition und einer Einschätzung der anderen Spieler abhängen.
Klassisches Reinforcement-Learning
Die jetzt veröffentlichten Paper zeigen, dass Libratus nicht wie Alpha-Go auf tiefe neuronale Netze setzt, sondern eine Variante der Counterfactual Regret Minimization (CFR) mit Regret Based Pruning (RBP) kombiniert. Es handelt sich damit um klassisches Reinforcement-Learning, bei dem der Entscheidungsbaum der möglichen Spielzüge systematisch auf die Züge eingeschränkt wird, die die KI später mit der geringsten Wahrscheinlichkeit abgleicht.
Da Libratus mit dieser Taktik zu Beginn einer Partie keine klare Strategie verfolgen konnte, witterten die vier menschlichen Kontrahenten zu Beginn des Turniers einige Schwächen. Zu diesem Zeitpunkt hatte Libratus 15 Millionen CPU-Stunden trainiert, indem er gegen sich selbst pokerte.
Sandholm und sein Team trainierten Libratus aber jeweils nachts auf dem Supercomputer "Bridges" weiter (insgesamt weitere 4 Millionen CPU-Stunden), sodass die Spieler am nächsten Morgen einer KI gegenübersaßen, die die Schwäche des Vortags nicht mehr spielte. Am Ende des Turniers musste einer der vier Pokerprofis, Daniel Macaulay, zugeben: "We were beaten down".
Übermenschliche Strategie erlernen
Laut Sandholm sind die Fähigkeiten von Libratus nicht Poker-spezifisch. Libratus soll in der Lage sein bei jedem Spiel mit unvollständigen Informationen eine übermenschliche Strategie zu erlernen.
Die Forscher haben als weitere Spiele bereits die Suche nach Arzneimitteln gegen resistente Keime oder Verhandlungen zwischen Unternehmen ausgemacht. (kbe)
