Viele erste Projekte enden mit einer niedrigen Trefferquote, die niemand so richtig benennen kann. Dabei zeigt meist nicht das Modell ein Problem, sondern die Auswertung.

Trotzdem landen echte Spam-Nachrichten im Postfach und harmlose Mails im Filter – beides gleichzeitig.

Der Grundbegriff dahinter ist die Konfusionsmatrix, eine Tabelle mit vier Feldern für jede Vorhersage. Die eine Achse ist das tatsächliche Label, also ob ein Beispiel wirklich positiv oder negativ ist; die andere Achse ist die Vorhersage des Modells. Positiv und negativ sind keine Wertung, sondern die Klasse, auf die getestet wird – etwa „Spam“; welche Klasse positiv ist, legt man vorher fest.

Richtig positiv zählt die Treffer, falsch positiv die Fehlalarme, falsch negativ die übersehenen Fälle und richtig negativ die korrekt durchgelassenen harmlosen Fälle. Der Irrtum, „falsch positiv“ mit „falsch vorhergesagt“ gleichzusetzen, verursacht genau dieses Symptom, denn „positiv“ benennt immer die Vorhersage – richtig oder falsch steht nur davor.

Beispiel Spamfilter: 100 E-Mails, davon 10 Spam; das Modell markiert 8 E-Mails als Spam, 6 davon tatsächlich Spam. Precision, der Anteil echter Treffer unter allen Positiv-Vorhersagen, liegt bei 6/8; Recall, der Anteil der erfassten Fälle unter allen echten Fällen, bei 6/10. Bei Betrugserkennung wiegt ein übersehener Fall anders als ein Fehlalarm; welche Metrik zählt, hängt von den Fehlerkosten ab.

So prüft man es: Jedes Beispiel aus dem Testdatensatz einem der vier Felder zuordnen und die Felder zählen. Dann die Felder für falsch positiv und falsch negativ getrennt auszählen – Fehlalarme und übersehene Fälle.

Die Konfusionsmatrix heißt nicht „Tabelle mit einer Fehlerzahl“, sondern „vier Felder mit je einer eigenen Frage an das Modell“.

📌 Konfusionsmatrix · Fehlalarm vs. übersehen

📚 KI von Grund auf · Tag 3 von 30
#machinelearning #Evaluation