Das Training läuft endlos, der Verlust aber geht nicht zurück. Dabei verrät der Verlustverlauf meist genau, was nicht stimmt.

Der Verlust (ein Maß dafür, wie weit Vorhersagen vom richtigen Ergebnis entfernt sind) schwankt wild oder bleibt auf hoher Ebene stehen. Statt zu lernen, springt das Modell scheinbar ziellos umher.

Beim Gradientenabstieg verändert das Training die Parameter schrittweise, und zwar in die Richtung, in der der Verlust am stärksten abnimmt. Parameter (Gewichte) sind die Zahlen im Modell, die aus den Daten gelernt werden. Der Gradient sagt, wie stark und in welche Richtung sich der Verlust ändert, wenn man einen Parameter ein wenig verschiebt. Die Lernrate bestimmt, wie groß jeder einzelne Schritt ist – und sie ist ein Hyperparameter: eine Einstellung, die vor dem Training von Hand festgelegt wird.

Ist die Lernrate zu groß, springen die Parameter über das beste Ergebnis hinweg; der Verlust pendelt, statt zu sinken. Ist sie zu klein, dauert das Training unverhältnismäßig lange, weil jeder Fortschritt winzig ist. Das Bild ist eine gebirgige Landschaft: Höhe entspricht Verlust, Position entspricht Parametern, und der Algorithmus läuft wie ein Wanderer im Nebel Schritt für Schritt bergab.

So prüft man es: Den Verlust über die Trainingsschritte aufzeichnen und den Verlauf ansehen. Schwankt er stark, die Lernrate verringern; sinkt er quälend langsam, sie erhöhen und erneut laufen.

Gradientenabstieg senkt den Verlust in vielen kleinen Schritten, nicht auf einen Schlag. Er findet ein Tal in der Nähe des Startpunkts – ob es das tiefste ist, ist nicht garantiert.

📌 Gradientenabstieg · Lernrate · Verlustfunktion

📚 KI von Grund auf · Tag 2 von 30
#machinelearning #deeplearning #ki