Ein Modell kann jede Übungsaufgabe fehlerfrei lösen und in der Prüfung trotzdem scheitern. Genau das passiert beim Overfitting, einem der häufigsten Fehler im Machine Learning.

Wer eigene Modelle trainiert, begegnet Overfitting spätestens beim ersten Vergleich von Trainings- und Validierungsergebnis. Wer es nicht kennt, hält ein auswendig lernendes Modell für gut und wundert sich über schlechte Vorhersagen auf neuen Daten.

Overfitting (Überanpassung) liegt vor, wenn ein Modell die Trainingsbeispiele nahezu auswendig lernt statt den zugrunde liegenden Zusammenhang. Ein Modell mit vielen Parametern hat genug freie Kapazität, jedes Beispiel einzeln zu speichern – auf neuen Daten hilft das nichts, weil dort im Detail andere Fälle stehen.

Man passt die Parameter auf einer Trainingsmenge an, wählt das Modell anhand einer separaten Validierungsmenge und trägt beide Fehler über die Epochen, also die Trainingsdurchläufe, in eine Kurve ein. Beim Overfitting sinkt der Trainingsfehler weiter, während der Validierungsfehler stagniert oder steigt. Diese wachsende Lücke ist das Warnzeichen, nicht der Trainingsfehler allein. Mit Early Stopping beendet man das Training, wenn sich der Validierungsfehler über eine festgelegte Zahl von Epochen nicht mehr verbessert, und behält die beste Zwischenversion.

Verwechselt wird Overfitting mit Underfitting, wo der Fehler auf Trainings- wie Validierungsdaten hoch ist, weil das Modell zu schwach ist. Der Unterschied zeigt sich in der Lücke: fehlt sie bei hohen Fehlern, ist das Modell zu schwach; wächst sie, lernt es auswendig.

Overfitting heißt nicht, dass ein Modell zu gut gelernt hat, sondern dass es die falsche Sache gelernt hat: Beispiele statt Zusammenhang.

📌 Trainingsfehler vs. Validierungsfehler · Generalisierung · Early Stopping

📚 KI von Grund auf · Tag 3 von 30
#machinelearning #Evaluation #ki #deeplearning