Die meisten Einsteiger fragen nach einer einzigen Zahl für „Genauigkeit“. Dabei verbergen sich dahinter zwei völlig verschiedene Fragen.

Accuracy – der Anteil korrekt klassifizierter Beispiele – kann hoch ausfallen und trotzdem jeden Einzelfall verfehlen. Gerade bei seltenen Ereignissen ist sie fast wertlos. Deshalb misst man getrennt, was getroffen wurde und was gefunden wurde.

🧠 Precision fragt: „Wie viele der getroffenen Vorhersagen stimmen?“ Sie zählt die als positiv markierten Fälle und prüft, wie viele davon echt positiv sind. Ein Fehlalarm (falsch positives Beispiel) senkt sie sofort. Ein Modell, das nur wenige, aber sichere Vorhersagen trifft, erreicht hohe Precision – und übersieht dafür vielleicht vieles.

📊 Recall fragt: „Wie viele der tatsächlichen Fälle wurden gefunden?“ Beim Nenner stehen alle echten positiven Fälle, nicht die Vorhersagen. Ein übersehener Fall (falsch negatives Beispiel) senkt den Recall. Wer die Nenner verwechselt, verwechselt die Metriken – das ist der häufigste Zählfehler.

🔍 Beide Zahlen stammen aus derselben Konfusionsmatrix – einer Tabelle, die richtige und falsche Vorhersagen zählt. Beispiel Spamfilter: 100 E-Mails, davon 10 Spam; 8 werden markiert, 6 davon sind wirklich Spam. Precision = 6/8, Recall = 6/10. Welche zählt, hängt von den Fehlerkosten ab: Bei Betrugserkennung wiegt ein übersehener Betrug schwerer als ein Fehlalarm. Wer beide zusammenfassen will, nutzt den F1-Wert, das harmonische Mittel aus beiden.

Precision heißt nicht „Recall mit anderem Namen“, sondern die Gegenfrage: Qualität der Treffer statt Vollständigkeit der Suche.

📌 Precision · Recall · Konfusionsmatrix

📚 KI von Grund auf · Tag 3 von 30
#machinelearning #Evaluation #ki