Ein Modell kann jede Trainingsaufgabe perfekt lösen und trotzdem nichts können. Denn gemessen wird es nicht am Übungsmaterial, sondern an Daten, die es nie gesehen hat.

Das Training passt die Parameter, also die inneren Stellschrauben des Modells, an Beispiele an. Das kennen Sie vom Lernen mit Lösungsheft: Vorhersage machen, mit der richtigen Antwort vergleichen, Verhalten korrigieren.

Zuerst sammelt man Daten, die das richtige Ergebnis enthalten, etwa tausend bereits einsortierte E-Mails für einen Spamfilter. Eine Verlustfunktion (Loss) misst, wie weit die Vorhersagen danebenliegen. Das Training verändert die Parameter so, dass dieser Verlust sinkt.

Dann droht die Verführung: Ein Modell könnte die Trainingsbeispiele einfach auswendig lernen. Niedriger Fehler auf Trainingsdaten beweist deshalb nicht, dass es einen allgemeinen Zusammenhang erkannt hat. Schlimmer noch: Wer versehentlich eine Spalte als Merkmal, also als Eingabeinformation, nutzt, die das Label, also die richtige Zielangabe, bereits verrät, bekommt täuschend gute Werte.

Danach prüft man die Generalisierung, also die Fähigkeit, auf ungesehenen Daten gute Ergebnisse zu liefern. Dafür teilt man die Daten vor dem Training auf: einen größeren Teil zum Lernen, einen kleineren Teil als Testdaten, den das Modell nie sieht.

Zuletzt kommt die Inferenz, der Einsatz des fertigen Modells. Frisch eingehende E-Mails haben kein Lösungsheft mehr. Ist das Modell dort gut, hat es wirklich gelernt; ist es nur dort gut, wo es geübt hat, nennt man das Überanpassung (Overfitting).

Generalisierung heißt nicht, die Trainingsdaten zu wiederholen, sondern auf Neues richtig zu antworten. Eine Bewertung ist nur ehrlich, wenn sie auf Daten erfolgt, die das Modell nie beim Lernen gesehen hat.

📌 Generalisierung · Trainingsdaten vs. Testdaten · Overfitting

📚 KI von Grund auf · Tag 2 von 30
#machinelearning #ki #Evaluation