Accuracy beeindruckt mit hohen Prozentwerten. Precision und Recall verraten dagegen, was ein Modell wirklich kann.

Beide bewerten dieselben Vorhersagen eines Klassifikators, also eines Modells, das jedem Beispiel eine Klasse zuordnet. Accuracy wirkt wie die ehrliche Gesamtnote, weil sie alles zusammenzählt.

Accuracy ist der Anteil korrekt klassifizierter Beispiele an allen Beispielen. Jedes Beispiel zählt gleich, egal zu welcher Klasse es gehört. Bei Betrugsfällen, die nur ein Prozent der Transaktionen ausmachen, sagt ein Modell, das immer „kein Betrug“ vorhersagt, 99 Prozent richtig und findet trotzdem keinen einzigen Betrugsfall.

Precision und Recall arbeiten dagegen mit der Konfusionsmatrix, einer Tabelle mit vier Feldern: richtig positiv, falsch positiv, richtig negativ, falsch negativ. Precision ist der Anteil der als positiv gemeldeten Fälle, die echt sind; Recall ist der Anteil der echten Fälle, die gefunden wurden. Der F1-Wert ist das harmonische Mittel aus beiden – eine Mittelung, bei der der kleinere der beiden Werte stärker durchschlägt – und bestraft ein starkes Ungleichgewicht. Meldet ein Modell zehn Verdachtsfälle und acht sind echt, liegt die Precision bei acht Zehnteln.

Aus der Konfusionsmatrix abgelesen, zeigen sie Stärken und Schwächen, die eine hohe Accuracy verbirgt.

Faustregel: Bei seltenen Ereignissen nie Accuracy allein betrachten; ein Modell muss die Baseline „immer die Mehrheitsklasse“ (in scikit-learn der DummyClassifier) deutlich schlagen, und zwischen Precision und Recall entscheiden die Kosten eines übersehenen Falls gegenüber einem Fehlalarm.

Ein hoher F1-Wert heißt also nicht „gutes Modell“, sondern „ausgewogen auf der Zielklasse“. Accuracy zählt Treffer, Precision und Recall zählen, was davon zählt.

📌 Accuracy vs. Recall · Konfusionsmatrix · Klassenungleichgewicht

📚 KI von Grund auf · Tag 5 von 30
#machinelearning #Evaluation #ki