Seite 6: Ermittlung der rechnerischen Reduzibilität

Inhaltsverzeichnis

Rechnerische Reduzibilität steht im Zentrum dessen, was normalerweise als "Wissenschaft betreiben" verstanden wird. Denn sie ist nicht nur dafür verantwortlich, dass Vorhersagen getroffen werden können, sondern ermöglicht auch die Identifizierung von Regelmäßigkeiten, die Erstellung von Modellen und komprimierten Zusammenfassungen dessen, was gesehen wird – und die Entwicklung eines Verständnisses, das in den Köpfen erfasst werden kann.

Die Frage, wie rechnerische Reduzibilität gefunden werden kann, stellt sich oft. Manchmal ist sie sehr offensichtlich, wie zum Beispiel, wenn eine Visualisierung eines bestimmten Verhaltens (wie die Evolution eines zellulären Automaten) erstellt und sofort einfache Merkmale darin erkannt werden. Doch in der Praxis mag rechnerische Reduzibilität nicht immer so offensichtlich sein, und es könnte erforderlich sein, viele Details zu durchforsten, um sie zu entdecken. Hier kann Künstliche Intelligenz potenziell sehr hilfreich sein.

Auf einer gewissen Ebene kann dies als eine Geschichte von "der Suche nach der richtigen Parametrisierung" oder dem "richtigen Koordinatensystem" betrachtet werden. Als sehr direktes Beispiel kann man diese scheinbar recht zufällige Punktwolke betrachten. Dreht man sie in den entsprechenden Winkel, lassen sich jedoch deutliche Regelmäßigkeiten erkennen:

Gibt es eine allgemeine Methode, um Regelmäßigkeiten zu erkennen, wenn sie vorhanden sind? Die traditionelle Statistik ("Gibt es eine Korrelation zwischen A und B?", und so weiter), die Modellanpassung ("Ist dies eine Summe von Gaußschen Kurven?") und die traditionelle Datenkomprimierung ("Wird es nach der Lauflängenkodierung kürzer?") erkennen nur ganz spezifische Arten von Regelmäßigkeiten. Kann Künstliche Intelligenz also mehr erreichen? Bietet sie vielleicht einen allgemeinen Weg zum Auffinden von Regelmäßigkeiten?

Die Feststellung, eine Regelmäßigkeit in etwas gefunden zu haben, bedeutet im Grunde, dass nicht alle Details der Sache angegeben werden müssen: Es gibt eine reduzierte Darstellung, aus der sie rekonstruiert werden kann. So muss beispielsweise bei der Regelmäßigkeit "Punkte-auf-Linien" im Bild nicht die Position jedes einzelnen Punktes angegeben werden; es genügt zu wissen, dass sie Streifen mit einem bestimmten Abstand bilden.

Angenommen, es gibt ein Bild mit einer bestimmten Anzahl von Pixeln. Es stellt sich die Frage, ob es eine reduzierte Darstellung mit weniger Daten gibt, aus der das Bild effektiv rekonstruiert werden kann. Bei neuronalen Netzen existiert ein Ansatz, um solch eine reduzierte Darstellung zu finden.

Die Grundidee besteht darin, ein neuronales Netz als Autoencoder zu nutzen, der Eingaben entgegennimmt und sie als Ausgaben wiedergibt. Dies mag zunächst wie eine triviale Aufgabe erscheinen. Doch ist sie es nicht, denn die Eingabedaten müssen durch das Innere des neuronalen Netzes fließen, wobei sie anfangs "zermahlen" und am Ende "zusammengesetzt" werden. Der Schlüssel liegt jedoch darin, das neuronale Netz mit ausreichend Beispielen so zu trainieren, dass es die Eingaben erfolgreich wiedergibt und als Autoencoder fungiert.

Der nächste Schritt besteht darin, den Autoencoder zu untersuchen und die reduzierte Darstellung herauszufiltern, die er kreiert hat. Während die Daten im neuronalen Netz von einer Schicht zur nächsten fließen, strebt es danach, die Informationen zu bewahren, die benötigt werden, um die ursprüngliche Eingabe zu reproduzieren. Wenn eine Schicht weniger Elemente enthält, muss das, was in dieser Schicht vorhanden ist, einer reduzierten Darstellung der ursprünglichen Eingabe entsprechen.

Wenn man von einem modernen Standard-Bild-Autoencoder ausgeht, der auf ein paar Milliarden typischerweise im Internet gefundenen Bilder trainiert wurde, und ihm ein Bild einer Katze gibt, wird er erfolgreich etwas reproduzieren, das dem Originalbild ähnelt. Aber in der Mitte wird es eine reduzierte Darstellung mit viel weniger Pixeln geben, die aber immer noch das einfängt, was von der Katze benötigt wird (wie unten dargestellt, mit ihren vier getrennten Farbkanälen):

Dies lässt sich als eine Art "Black-Box-Modell" für das Katzenbild betrachten. Es ist nicht bekannt, was die Elemente ("Merkmale") im Modell bedeuten, aber irgendwie gelingt es, "das Wesen des Bildes" erfolgreich einzufangen. Was passiert also, wenn dies auf "wissenschaftliche Daten" oder zum Beispiel auf "künstliche natürliche Prozesse" wie zelluläre Automaten angewendet wird? Hier zeigt sich ein Fall, in dem eine erfolgreiche Komprimierung erreicht wird. Das oberste Beispiel klappt gut, danach wird es schlimmer, vor allem bei rechnerischer Irreduzibilität:

Aber die Geschichte reicht noch weiter. Der Autoencoder, der zum Einsatz kam, wurde auf "alltägliche Bilder" trainiert, nicht auf solche "wissenschaftlichen Bilder". Er versucht also, die wissenschaftlichen Bilder nach Mustern wie Augen und Ohren zu modellieren, wie sie beispielsweise in Bildern von Katzen vorkommen. Was geschieht nun, wenn ein Autoencoder trainiert wird, der spezifischer auf die Art von Bildern ausgerichtet ist, die benötigt werden – wie im Fall der Vorhersage durch zelluläre Automaten oben beschrieben?

Es gibt zwei sehr einfache neuronale Netzwerke, die als "Encoder" und "Decoder" dienen können, um einen Autoencoder zu konstruieren:

Nun nimmt man den Standard-MNIST-Bilddatensatz und verwendet diesen, um den Autoencoder zu trainieren:

Jedes dieser Bilder hat 28 × 28 Pixel. Aber in der Mitte des Autoencoders befindet sich eine Schicht mit nur zwei Elementen. Das bedeutet also, dass alles, was zur Kodierung aufgefordert wird, auf lediglich zwei Zahlen reduziert werden muss:

Was man hier sieht, ist dass der Autoencoder für Bilder, die mehr oder weniger den trainierten ähneln, es schafft etwas zu rekonstruieren, das zumindest grob richtig aussieht, auch bei starker Komprimierung. Gibt man ihm jedoch andere Bildtypen, ist er nicht so erfolgreich. Er besteht dann darauf, sie so wiederherzustellen, dass sie wie Bilder aus seinem Trainingsset aussehen.

Was passiert nun, wenn man es mit Bildern zellulärer Automaten trainiert? Nehmen Sie 10 Millionen Bilder, die mit einer bestimmten Regel generiert wurden und trainieren damit den Autoencoder. Anschließend füttert man ihn mit ähnlichen Bildern:

Die Ergebnisse sind bestenfalls sehr grob; dieses kleine neuronale Netz konnte die "detaillierten Eigenheiten dieses speziellen zellulären Automaten" nicht erlernen. Wäre es gelungen, die gesamte scheinbare Komplexität der Evolution des zellulären Automaten mit nur zwei Zahlen zu charakterisieren, hätte man dies als beeindruckende wissenschaftliche Leistung betrachten können. Doch wie erwartet, wurde das neuronale Netz durch die rechnerische Irreduzibilität effektiv blockiert.

Aber auch wenn es die "rechnerische Irreduzibilität" nicht ernsthaft durchbrechen kann, ist das neuronale Netz dennoch in der Lage, "nützliche Entdeckungen" zu machen, indem es kleine Stücke rechnerischer Reduzierbarkeit und kleine Regelmäßigkeiten findet. Wenn man etwa Bilder von "rauschenden Buchstaben" nimmt und ein neuronales Netz verwendet, um sie auf Zahlenpaare zu reduzieren und diese Zahlen verwendet, um die Bilder zu positionieren, erhält man einen "dimensional reduzierten Merkmalsraum-Plot", der Bilder verschiedener Buchstaben trennt:

Betrachten Sie etwa eine Sammlung zellulärer Automaten mit verschiedenen Regeln. Ein typisches neuronales Netz würde die Bilder wie unten dargestellt im Merkmalsraum anordnen:

Und ja, es ist fast gelungen, automatisch die vier Verhaltensklassen zu entdecken, die ich Anfang 1983 identifiziert hatte. Aber es ist nicht ganz vollständig. Obwohl dies in gewisser Weise ein schwieriger Fall ist, der direkt mit rechnerischer Irreduzibilität konfrontiert ist. Und es gibt viele Fälle (denken Sie an: Anordnung des Periodensystems basierend auf den Eigenschaften der Elemente; Ähnlichkeit von Flüssigkeitsströmungen basierend auf der Reynolds-Zahl; usw.), bei denen man erwarten kann, dass ein neuronales Netz in Bereiche rechnerischer Reduzibilität vordringt und zumindest vorhandene wissenschaftliche Entdeckungen erfolgreich rekapituliert.