Ein Wächter, der jeden Abend „alles sicher“ ruft, hat fast immer recht. Dabei überblickt er nur, was ohnehin meistens passiert.

So funktioniert eine Accuracy wie ein Wachmann, der abends nur zählt: Er zählt abends nur, wie oft seine Meldung gestimmt hat. Ruft er in einem ruhigen Dorf stets „alles sicher“, liegt er fast immer richtig. Nur die zwei Einbrüche im Jahr übersieht er komplett. Sein Ruf bleibt trotzdem tadellos.

Fachlich entspricht das der Accuracy, dem Anteil aller richtigen Vorhersagen über alle Klassen zusammen. Bei einer Klassifikation, also der Vorhersage einer Kategorie wie Spam oder kein Spam, zählt sie Treffer der häufigen und der seltenen Klasse zusammen. Sind 99 Prozent der Beispiele harmlos, erreicht ein Modell, das immer „harmlos“ sagt, 99 Prozent Accuracy. Es erkennt kein einziges seltenes Ereignis.

Statt nur abends zu zählen, muss der Wächter gezielt nach den Einbrüchen fragen. Der Recall misst, welchen Anteil der tatsächlich vorhandenen Fälle einer Klasse das Modell findet. Die Precision misst, wie viele der als „Fälle“ gemeldeten Beispiele wirklich welche sind. F1, das harmonische Mittel aus beiden, ist nur hoch, wenn beide Kennzahlen hoch sind. Beim Betrug- oder Krankheitsscreening entscheidet meist der Recall, weil übersehene Fälle teurer sind als falsche Alarme.

Das Bild hat eine Grenze: Der Wächter meldet nur ganz oder gar nicht. Ein Modell trifft aber Wahrscheinlichkeitsaussagen, und die Schwelle, ab der „Fall“ gilt, verschiebt Recall und Precision gegeneinander. Beide gehören immer zusammen gelesen.

Genauigkeit heißt hier nicht, dass das Modell gut ist. Precision, Recall und F1 verraten, ob es die Klasse findet, um die es geht.

📌 Accuracy täuscht bei Imbalance · Precision und Recall gehören zusammen · F1 als Gesamtmaß

📚 KI von Grund auf · Tag 6 von 30
#machinelearning #Evaluation #ki