GameNGen: Google-Forscher simulieren "Doom" ohne Engine

Google hat KI-Technik namens GameNGen vorgestellt, die den Shooter "Doom" auf einer TPU komplett ohne Engine in Echtzeit aufbaut. Das dabei entstandene KI-"Doom" ist interaktiv und spielbar. Für Menschen ist der Unterschied zum Originalspiel anhand von Videomaterial offenbar nur schwer festzustellen.

Das Spiel läuft in 20 FPS, GameNGen kann laut Google mit Qualitätsverlust aber auch 50 Bilder pro Sekunde generieren.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier ein externes YouTube-Video (Google Ireland Limited) geladen.

YouTube-Video immer laden YouTube-Video jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Google Ireland Limited) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

GameNGen ist im Kern eine aufgepumpte Version des Bildgenerators Stable Diffusion in Version 1.4, die Frames auf Basis vorangegangener Bilder und der Eingaben der Nutzer generiert. Ein neuronales Netz verwaltet den Spielstatus – merkt sich also, wie viel Munition verwendet wird, wie viele Lebenspunkte die Spielfigur hat, welche Türen geöffnet werden und ob Gegner getroffen wurden.

Bilder, Videos und Spiele von der KI

Die KI-Technik von Google baut "Doom" also in Echtzeit auf und berücksichtigt dabei die Eingaben von Spielern. Zuerst wurde dafür ein KI-Agent per Reinforcement Learning darauf trainiert, das ursprüngliche "Doom" zu spielen. Diese Versuche wurden aufgenommen. Schließlich wurde das Diffusion-Modell darauf trainiert, aus vorangegangenen Bildern und Nutzer-Inputs neue Frames zu generieren. Das erinnert an die Nvidia-Technik DLSS3 Frame Generation, die bereits in einigen modernen Spielen zum Einsatz kommt und zwischen zwei traditionell berechneten Frames jeweils einen KI-Frame einfügt.

Die Forscher von Google und der Universität von Tel Aviv stellen ihr Modell GameNGen in einem Paper vor und haben Videos des KI-generierten Spiels veröffentlicht. Ihr Experiment zeige, dass neurale Netze grundsätzlich Videospiele in hoher Qualität in Echtzeit simulieren können. KI könne also nicht nur Bilder und Videos, sondern auch Games generieren, schlussfolgern sie in ihrem Paper.

GameNGen funktioniert nur mit "Doom"

Perfekt ist die Technik aber nicht. GameNGen kann sich nur drei Sekunden der Vergangenheit merken. Es kann also nicht garantiert werden, dass Spielelemente wie Munition, Lebenspunkte und der Status der Gegner über längere Sessions stabil und sinnvoll bleiben. Zudem wurde das KI-Modell ausschließlich auf "Doom" trainiert und kann den Forschern zufolge nicht ohne Weiteres auf andere Spiele angewendet werden. Modernere Grafik als beim 1993 erschienenen "Doom" könnte außerdem die Rechenkosten massiv in die Höhe treiben.

Google schreibt, dass Menschen den Unterschied zwischen dem KI-generierten "Doom" und dem Original kaum feststellen können. Dabei lohnt sich aber genaues Hinschauen: Im veröffentlichten Videomaterial sind etwa willkürliche Fluktuationen beim Munitionsstand deutlich zu erkennen. Zudem scheinen Gegner in Bewegung stark zu verschwimmen.

Bleibt noch eine grundlegende Limitierung: GameNGen braucht Material aus einem bestehenden Videospiel, um es nachstellen zu können. Komplett neue Games kann man mit dem aktuellen Ansatz also nicht entwickeln. Dennoch könnten Entwicklerstudios eine solche Technik verwenden, um die Entwicklung ihres Spiels zu beschleunigen und Kosten zu sparen, meint Google. Zudem könne man mit der KI-Technik das Verhalten bestehender Spiele verändern und Mods erstellen. "Zum Beispiel könnten wir in der Lage sein, einen Satz von Frames in ein neues spielbares Level umwandeln oder einen neuen Charakter nur anhand von Beispielbildern zu erstellen, ohne Code schreiben zu müssen."

(dahe)