Accuracy von 99 Prozent klingt erstrebenswert. Bei seltenen Ereignissen ist sie oft die trügste Kennzahl überhaupt.

Accuracy und Recall versprechen beide eine einzige Zahl für Modellqualität – deshalb werden sie verwechselt. Accuracy zählt nur, wie oft das Modell richtig liegt – nicht, was es verpasst.

Accuracy ist der Anteil korrekt klassifizierter Beispiele, egal welcher Art die Fehler sind. Bei 99 Prozent normalen Transaktionen und einem Prozent Betrug sagt ein Modell einfach immer „kein Betrug“ – und erreicht 99 Prozent Accuracy, ohne einen einzigen Betrugsfall zu erkennen. Genau daran zeigt sich, dass die Kennzahl über die Qualität täuscht.

Precision und Recall blicken stattdessen auf die seltene Klasse. Precision ist der Anteil der als positiv vorhergesagten Beispiele, die tatsächlich positiv sind – also: Wie viele Alarme waren berechtigt? Recall ist der Anteil der tatsächlich positiven Fälle, die gefunden wurden – also: Wie viele echte Betrügereien wurden entdeckt? Beide stammen aus der Konfusionsmatrix, die richtig positive, falsch positive, richtig negative und falsch negative Vorhersagen zählt.

Accuracy misst Gesamttreffer, Precision und Recall messen die seltene Klasse gezielt. Der F1-Wert, das harmonische Mittel beider, bestraft ein starkes Ungleichgewicht, weil er nahe am kleineren Wert liegt.

Faustregel: Zuerst prüfen, wie die Klassen verteilt sind und was ein trivialer Baseline-Klassifikator wie scikit-learns DummyClassifier erreicht. Bei teuren Folgen übersehener Fälle, etwa einer nicht erkannten Krankheit, führt Recall; bei teuren Fehlalarmen, etwa gesperrten Konten, zählt Precision.

Accuracy sagt also nicht „das Modell erkennt Betrug“, sondern nur „das Modell liegt oft richtig“. Bei seltenen Klassen entscheiden Precision, Recall und F1 – nicht die Accuracy.

📌 Accuracy vs. Recall · Konfusionsmatrix · F1-Wert

📚 KI von Grund auf · Tag 6 von 30
#machinelearning #Evaluation #ki