Neuronale Netze einfach erklärt
Seite 4: Fehlerfunktion
Für die Fehlerberechnung benutzt man bei neuronalen Netzen eine sogenannte Verlustfunktion (engl. loss), für die verschiedene Verfahren zur Verfügung stehen, beispielsweise so kryptisch klingende wie Cross Entropy, Mean Squared Error und Poisson. Das muss man zum Glück nicht alles verstehen, aber gehört haben sollte man davon. Bei allen Verfahren geht es darum, sich mit der jeweiligen Verlustfunktion und den ermittelten Fehlerwerten einem Minimum zu nähern.
Bildlich kann man sich das ungefähr so vorstellen, als wenn man in einem Gebirge steht, der Fehler quasi den Höhenmetern entspricht und man an den tiefsten Punkt kommen möchte. Als Testfall könnte man eine Murmel nehmen und sehen, in welche Richtung sie am jeweiligen Standort rollt, dort geht es runter. Dann macht einen Schritt in diese Richtung und überprüft die Richtung erneut. So kommt man immer tiefer, bis man an einer Talsohle (= Minimum) angekommen ist (Bild 3). Dann hat man das Ziel erreicht. Die Testmurmeln sind in unserem Fall die Bilder und der Schritt entspricht dem Anpassen der Gewichte, so dass der Gesamtfehler eben kleiner wird.
Dieser Vergleich zeigt auch eines der Probleme mit diesem Vorgehen und mit dem Ergebnis eines Trainings grundsätzlich: man weiß eigentlich nie, in welcher Talsohle man genau angekommen ist und ob dies auch die tiefste Talsohle ist oder es nicht einen Bergrücken weiter ein noch tieferes Tal (= andere Verteilung der Gewichte) gibt, die noch bessere Gesamtergebnisse liefert.
Das Murmelspielen, Steuern der Schrittweite (Lernrate) und Auswerten der Fehler übernimmt ein Optimierungsalgorithmus. Sie können es sich denken, auch hier gibt es wieder mehrere Ansätze und die haben verschiedene Strategien um einerseits schnell, andererseits aber auch nicht in lokalen Minima zu landen.
