99 Prozent richtig und trotzdem nutzlos: Das schafft ein Modell, das einfach immer „kein Betrug“ sagt. Accuracy allein verrät darüber nichts.

Bei der Klassifikation ordnet ein Modell jedem Beispiel eine Klasse zu, etwa „Betrug“ oder „kein Betrug“. Kommt eine Klasse viel seltener vor (Class Imbalance), verschwindet sie in der Gesamtgenauigkeit.

Zuerst gilt es, die triviale Baseline zu berechnen: die Regel „immer die Mehrheitsklasse vorhersagen“. Ist Betrug in einem Prozent der Fälle, liegt dieses dumme Modell bei 99 Prozent Accuracy – und findet keinen einzigen Betrugsfall. Erst der Vergleich mit dieser Baseline zeigt, ob ein Modell etwas lernt.

Dann hilft die Konfusionsmatrix weiter: eine Tabelle, die richtig positive, falsch positive, richtig negative und falsch negative Vorhersagen zählt. Precision ist daraus der Anteil der als positiv gemeldeten Fälle, die wirklich positiv sind. Recall ist der Anteil der tatsächlichen positiven Fälle, die gefunden wurden.

Danach werden beide Werte zusammen gelesen, denn jede Zahl allein täuscht. Ein Modell kann jeden verdächtigen Fall melden: hoher Recall, niedrige Precision. Oder nur wenige sichere Fälle: hohe Precision, niedriger Recall. Der Schwellenwert von 0,5 für Wahrscheinlichkeiten ist nur eine Konvention; senkt man ihn, steigt der Recall und fällt die Precision.

Zuletzt entscheidet der F1-Wert, das harmonische Mittel beider Größen. Er bestraft Ungleichgewicht: Recall eins und Precision halb ergeben nur einen F1 von zwei Dritteln. Welche Seite wichtiger ist, bestimmen die Kosten: ein übersehener Betrugsfall wiegt anders als ein Fehlalarm.

Accuracy heißt hier nicht Modellqualität, sondern Klassenhäufigkeit in Zahlenform. Wer die seltene Klasse ernst nimmt, liest Precision, Recall und F1 – nie nur die Gesamtgenauigkeit.

📌 Class Imbalance · Precision und Recall · F1-Wert

📚 KI von Grund auf · Tag 5 von 30
#machinelearning #Evaluation #ki