Viele glauben, das Training stelle das ganze Modell ein. Dabei werden nur die Parameter verändert – die Einstellungen stehen vorher fest.

Viele Einsteiger nehmen an, ein Modell lerne während des Trainings alles – auch seine Konfiguration. Schließlich gehört beides irgendwie zum Modell.

Tatsächlich sind Parameter und Hyperparameter zwei verschiedene Dinge. Parameter sind Zahlen im Modell selbst, etwa die Gewichte, mit denen ein Neuron (eine kleine Recheneinheit) seine Eingaben multipliziert. Hyperparameter sind Einstellungen wie Lernrate oder Anzahl der Epochen, die vor dem Training festgelegt werden. Nur die Parameter werden während des Trainings aus den Daten gelernt.

Der Irrtum entsteht, weil beide Begriffe ähnlich klingen und selten getrennt erklärt werden. Dazu kommt: Auch Hyperparameter beeinflussen das Ergebnis deutlich, nur eben auf Umwegen über den Trainingsablauf.

Ein Beispiel ist die Lernrate, die Schrittweite beim Gradientenabstieg – jenem Verfahren, das die Parameter in die Richtung verändert, in der die Verlustfunktion (das Maß für den Fehler) am stärksten sinkt. Ist die Lernrate zu groß, springen die Parameter über das beste Ergebnis hinweg. Ist sie zu klein, dauert das Training unverhältnismäßig lange. Eine Epoche ist ein vollständiger Durchlauf durch alle Trainingsdaten; auch ihre Anzahl wählt man vorher.

Woran man es erkennt: Parameter stehen nach dem Training als Zahlen im Modell und wandern mit ihm in die Inferenz (die Anwendung auf neue Eingaben). Hyperparameter steuern nur den Ablauf und tauchen im fertigen Modell nicht mehr auf.

„Parameter“ heißt nicht „alle Einstellungen eines Modells“, sondern nur die gelernten Zahlen. „Hyperparameter“ heißt nicht „besonders wichtige Parameter“, sondern die vorab gewählten Regeln fürs Training.

📌 Parameter (gelernt) · Hyperparameter (gewählt) · Lernrate

📚 KI von Grund auf · Tag 2 von 30
#machinelearning #deeplearning #ki