Seite 5: Vorhersage von Berechnungsprozessen

Inhaltsverzeichnis

Die Vorhersage einer Funktion ist eine besonders schwierige Aufgabe, und man könnte sich vorstellen, dass "reale Prozesse" – etwa in der Natur – mehr "Umgebungsstruktur" haben, die eine KI nutzen könnte, um bei der Vorhersage "Fuß zu fassen". Und als Beispiel für das, was wir als "künstliche Natur" bezeichnen könnten, können wir rechnerische Systeme wie zelluläre Automaten betrachten. Hier ist ein Beispiel dafür, was eine bestimmte Regel eines zellulären Automaten bei einer bestimmten Ausgangsbedingung bewirkt:

Hier gibt es eine Mischung aus Einfachheit und Komplexität. Und als Menschen können wir leicht vorhersagen, was in den einfachen Teilen passieren wird, aber im Grunde können wir nicht viel über die anderen Teile sagen. Wie würde also eine KI vorgehen?

Wenn unsere "KI" einfach nur die Regel des zellulären Automaten ausführen kann, wird sie in der Lage sein, alles vorherzusagen, wenn auch mit großem Rechenaufwand. Die eigentliche Frage ist jedoch, ob eine KI die Dinge abkürzen kann, um erfolgreiche Vorhersagen zu machen, ohne den ganzen Rechenaufwand zu betreiben – oder, anders ausgedrückt, ob die KI erfolgreich Taschen mit reduziertem Rechenaufwand finden und nutzen kann.

Als konkretes Experiment habe ich ein neuronales Netz eingerichtet, um zu versuchen, das Verhalten unseres zellulären Automaten effizient vorherzusagen. Das Netz ist im Grunde ein einfacher – wenn auch "moderner" – Faltungs-Autoencoder mit 59 Schichten und insgesamt etwa 800.000 Parametern:

Es wird ähnlich wie ein LLM trainiert. Wir haben viele Beispiele für die Entwicklung unseres zellulären Automaten erhalten, dann haben wir dem Netzwerk die "obere Hälfte" eines jeden Beispiels gezeigt und versucht, es dazu zu bringen, diese erfolgreich fortzusetzen, um die "untere Hälfte" vorherzusagen. In dem speziellen Experiment, das wir durchgeführt haben, haben wir 32 Millionen Beispiele für die Entwicklung eines zellulären Automaten mit 64 Zellen gegeben. (Und ja, diese Anzahl von Beispielen ist winzig im Vergleich zu allen 2⁶⁴ ≈ 10¹⁹ möglichen Ausgangskonfigurationen). Dann versuchten wir, die Evolution des zellulären Automaten in Abschnitten von 64 Zellen und 64 Schritten einzugeben, und untersuchten, welche Wahrscheinlichkeiten das Netzwerk den verschiedenen möglichen Fortsetzungen zuordnete.

Hier sind einige Ergebnisse für eine Abfolge von verschiedenen Ausgangsbedingungen:

Man sieht das erwartbare: Wenn das Verhalten einfach genug ist, bekommt das Netz es im Grunde richtig hin. Aber wenn das Verhalten komplizierter ist, kommt das Netz in der Regel nicht so gut damit zurecht. Oft ist es zumindest "vage richtig", aber die Details sind nicht vorhanden.

Vielleicht, so könnte man meinen, wurde das Netz einfach nicht lange genug oder nicht mit genügend Beispielen trainiert. Und um ein Gefühl für die Wirkung von mehr Training zu bekommen, sehen Sie hier, wie sich die vorhergesagten Wahrscheinlichkeiten mit einer Viertelmillion aufeinander folgender Trainingsrunden entwickeln:

Und ja, mit mehr Training gibt es eine Verbesserung, aber am Ende scheint es nicht viel besser zu werden. (Allerdings zeigt die Verlustkurve im Laufe des Trainings einige plötzliche Sprünge nach unten, vermutlich weil "Entdeckungen" gemacht werden - und man kann nicht sicher sein, dass es nicht noch mehr davon geben wird.)

Es ist äußerst typisch für das maschinelle Lernen, dass es eine gute Arbeit leistet, wenn es darum geht, Dinge "ungefähr richtig" zu machen. Aber die Details sind nicht das, was maschinelles Lernen in der Regel gut kann. Wenn also das, was man zu tun versucht, davon abhängt, ist das maschinelle Lernen eingeschränkt. Und bei der hier betrachteten Vorhersage besteht das Problem darin, dass, sobald die Dinge auch nur geringfügig aus dem Ruder laufen, alles von da an nur noch schlimmer wird.