Seite 8: Gleichungen lösen mit KI

Inhaltsverzeichnis

In der traditionellen mathematischen Wissenschaft ist der typische Aufbau: Hier sind einige Gleichungen für ein System; lösen Sie sie, um herauszufinden, wie sich das System verhält. Vor dem Einsatz von Computern bedeutete dies in der Regel, dass man eine geschlossene Formel für die Lösung finden musste. Aber mit Computern gibt es einen alternativen Ansatz: eine diskrete numerische Annäherung und eine Art schrittweise Lösung der Gleichungen. Um genaue Ergebnisse zu erhalten, sind jedoch viele Schritte und ein hoher Rechenaufwand erforderlich. Die Frage ist also: Kann KI dies beschleunigen? Und kann KI etwa direkt von den Anfangsbedingungen einer Gleichung zu einer vollständigen Lösung übergehen?

Nehmen wir als Beispiel ein klassisches Beispiel aus der mathematischen Physik: das Dreikörperproblem. Welchen Bahnen werden die Massen folgen, wenn die Ausgangspositionen und -geschwindigkeiten von drei Punktmassen gegeben sind, die über ein inverses quadratisches Gravitationsgesetz wechselwirken? Es gibt eine große Vielfalt – und oft auch eine große Komplexität – , weshalb das Dreikörperproblem eine solche Herausforderung darstellt:

Was aber, wenn man in neuronales Netz auf viele Musterlösungen trainiert? Kann es dann die Lösung in einem bestimmten Fall herausfinden? Im Folgenden habe ich ein recht einfaches "mehrschichtiges Perzeptron"-Netz verwendet:

Ich habe das neuronale Netz mit Anfangsbedingungen gefüttert und es gebeten, eine Lösung zu erzeugen. Hier sind einige Beispiele dafür, was es tut, wobei die richtigen Lösungen durch die helleren Hintergrundpfade gekennzeichnet sind:

Wenn die Bahnkurven (Trajektorien) recht einfach sind, schneidet das neuronale Netz recht gut ab. Aber wenn die Dinge komplizierter werden, ist es immer weniger gut. Es ist, als ob sich das neuronale Netz die einfachen Fälle "erfolgreich eingeprägt" hat, aber nicht weiß, was es in komplizierteren Fällen tun soll. Letztlich ähnelt dies dem, was wir oben bei Beispielen wie der Vorhersage der Evolution von Zellularautomaten (und vermutlich auch der Proteinfaltung) gesehen haben.

Und ja, dies ist wieder einmal eine Geschichte der rechnerischen Irreduzibilität. Die Forderung, die Lösung einfach in einem Durchgang zu erhalten, bedeutet, dass man eine vollständige rechnerische Reduzierbarkeit anstrebt. Und insofern man sich vorstellen könnte, dass man – wenn man nur wüsste, wie man es macht – im Prinzip immer eine "geschlossene Formel" für die Lösung erhalten könnte, geht man implizit von rechnerischer Reduzierbarkeit aus. Aber seit vielen Jahrzehnten bin ich der Meinung, dass so etwas wie das Dreikörperproblem in Wirklichkeit ziemlich viel rechnerische Irreduzibilität aufweist.

Wäre ein neuronales Netz in der Lage gewesen, das Problem zu "knacken" und sofort Lösungen zu generieren, hätte das natürlich die rechnerische Reduzierbarkeit bewiesen. So aber ist das offensichtliche Versagen der neuronalen Netze ein weiterer Beweis für die rechnerische Irreduzibilität des Dreikörperproblems. (Es ist übrigens erwähnenswert, dass das Dreikörperproblem zwar eine empfindliche Abhängigkeit von den Anfangsbedingungen aufweist, aber das ist hier nicht das Hauptproblem; vielmehr geht es um die tatsächliche Eigenkomplexität der Trajektorien).

Wir wissen bereits, dass diskrete Rechensysteme wie zelluläre Automaten voller rechnerischer Irreduzibilität sind. Und wir hätten uns vorstellen können, dass kontinuierliche Systeme – die beispielsweise durch Differenzialgleichungen beschrieben werden – mehr Struktur haben, sodass sie die rechnerische Irreduzibilität vermeiden. Und da neuronale Netze (in ihrer üblichen Formulierung) mit kontinuierlichen Zahlen arbeiten, hätte man meinen können, dass sie in der Lage wären, die Struktur kontinuierlicher Systeme zu erfassen, um sie vorhersagen zu können. Aber etwas scheint es so, als ob die "Kraft der rechnerischen Irreduzibilität" zu stark ist und letztlich die Möglichkeiten neuronaler Netze übersteigt.

Dennoch können neuronale Netze bei der Lösung von Gleichungen von großem praktischen Nutzen sein. Herkömmliche numerische Näherungsmethoden neigen dazu, lokal und inkrementell (wenn auch oft adaptiv) zu arbeiten. Neuronale Netze können jedoch leichter mit "viel größeren Fenstern" umgehen, sie kennen gewissermaßen "längere Verhaltensabläufe" und sind in der Lage, über diese hinweg "vorauszuspringen". Außerdem können neuronale Netze bei einer enormen Anzahl von Gleichungen (etwa in der Robotik oder Systemtechnik) in der Regel einfach "alle Gleichungen aufnehmen und etwas Vernünftiges tun", während herkömmliche Methoden die Gleichungen tatsächlich einzeln bearbeiten müssen.

Das Dreikörperproblem beinhaltet gewöhnliche Differenzialgleichungen. Viele praktische Probleme beruhen jedoch auf partiellen Differenzialgleichungen (PDGen), bei denen sich nicht nur einzelne Koordinaten, sondern ganze Funktionen f× usw. mit der Zeit entwickeln. Und ja, auch hier kann man neuronale Netze einsetzen, oft mit erheblichem praktischen Nutzen. Aber was ist mit der rechnerischen Irreduzibilität? Viele der in der Praxis am meisten untersuchten Gleichungen und Situationen (z. B. für technische Zwecke) neigen dazu, sie zu vermeiden, aber im Allgemeinen gibt es sie natürlich (insbesondere bei Phänomenen wie der Turbulenz von Flüssigkeiten). Und wenn es eine rechnerische Irreduzibilität gibt, kann man letztlich nicht erwarten, dass neuronale Netze gut funktionieren. Aber wenn es darum geht, unsere menschlichen Bedürfnisse zu befriedigen - wie in anderen Beispielen, die wir besprochen haben - kann es besser aussehen.

Nehmen wir als Beispiel die Vorhersage des Wetters. Letztlich geht es hier um PDGen für die Strömungsdynamik (und ja, es gibt auch andere Effekte, die mit Wolken usw. zu tun haben). Man kann sich vorstellen, diese PDGen direkt und rechnerisch zu lösen. Ein anderer Ansatz wäre jedoch, ein neuronales Netz einfach "typische Wettermuster lernen" zu lassen (wie es die Meteorologen früherer Zeiten tun mussten), und dann das Netz (ähnlich wie bei der Proteinfaltung) versuchen zu lassen, diese Muster so zusammenzusetzen, dass sie zu jeder Situation passen.

Wie erfolgreich wird das sein? Das hängt wahrscheinlich davon ab, womit wir uns beschäftigen. Es könnte sein, dass ein bestimmter Aspekt des Wetters eine beträchtliche rechnerische Reduzibilität aufweist und recht gut vorhersagbar ist, beispielsweise durch neuronale Netze. Und wenn dies der Aspekt des Wetters ist, der uns interessiert, könnten wir zu dem Schluss kommen, dass das neuronale Netz seine Sache gut macht.

Falls ein für uns wichtiges Thema, wie die Frage "Wird es morgen regnen?", sich nicht einfach durch Berechnungen vorhersagen lässt, können neuronale Netze meist keine zuverlässigen Prognosen liefern. In solchen Fällen müssen wir auf umfangreiche und möglicherweise aufwendige Berechnungen zurückgreifen.

Teil 2 des Beitrags folgt in der kommenden Woche. Ein Hinweis: Wenn Sie im englischsprachigen Originalartikel "Can AI Solve Science?" auf ein beliebiges Diagramm klicken, erhalten Sie den Code in Wolfram Language, um die Ergebnisse zu reproduzieren. Der Code zum Trainieren der verwendeten neuronalen Netze ist ebenfalls verfügbar (setzt eine GPU voraus).

(vza)