Googles Gemini will kein Schach mehr spielen

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

Don’t show this again.

Googles Gemini hat sich geweigert, gegen einen Atari 2600 Schach zu spielen. Zuvor hatte man dem KI-Modell gesagt, andere Modelle hätten bereits gegen diesen Gegner verloren. Das Selbstbewusstsein des KI-Modells soll zunächst groß gewesen, dann jedoch prompt auf Null gefallen sein. Eine kluge Entscheidung.

Hintergrund ist keine Studie, sondern der Versuchsaufbau eines Entwicklers. Er hatte vor kurzem ChatGPT und Copilot gegen den Atari 2600 antreten lassen. Letztgenannter gewann. Robert Caruso bezeichnete das Abschneiden der beiden Chatbots als unterirdisch. Obwohl beide zunächst die Regeln gut wiedergeben konnten, versagten sie im tatsächlichen Spiel. Weder ChatGPT noch Copilot konnten sich Spielzüge merken, geschweige denn wussten sie immer, wo ihre Figuren standen und welche Züge erlaubt sind. Selbst im absoluten Anfängerlevel siegte die alte Konsole.

Gespielt wurde über einen Emulator mit "Video Chess", einem Spiel von 1979. Laut Caruso begründete ChatGPT dabei einige Fehler damit, dass die Figuren nicht gut genug zu erkennen seien. Bei dem Versuch kam ChatGPT in der Standard-Version zum Zug, also als Foundationmodell, spezialisiert auf Sprache und nicht trainiert für Schach. Caruso hat bei LinkedIn zu seinem Experiment erklärt, der Chatbot vergesse eben wichtigen Kontext. Das gilt potenziell für Gespräche als auch eine Schach-Partie. Neuere KI-Modelle, wie etwa solche, die auf Reasoning spezialisiert sind, könnten allerdings deutlich besser abschneiden, da sie quasi weiter denken und mehr Kontext behalten.

Resignation ist klüger als verlieren

Caruso bekam laut The Register Zuschriften von Menschen, die fragten, wie denn Googles Gemini abschneiden würde. Der Chatbot sei ebenfalls zunächst in einem Gespräch äußerst selbstbewusst gewesen. Doch nachdem Caruso ihm von den vergangenen Partien berichtet hatte, die ChatGPT und Copilot verloren hatten, sei auch Gemini mehr als zurückhaltend geworden. Am Ende soll Gemini geschrieben haben: "Die Absage des Spiels ist wahrscheinlich die zeitsparendste und sinnvollste Entscheidung."

Diese Resignation von Gemini ist allerdings nicht unbedingt negativ zu bewerten, sondern eher klug. Auch Caruso sagt laut Register: "Bei diesem Realitätscheck geht es nicht nur darum, amüsante Schachfehler zu vermeiden. Es geht darum, die KI zuverlässiger, vertrauenswürdiger und sicherer zu machen – vor allem an kritischen Stellen, wo Fehler echte Konsequenzen haben können."

(emw)