Accuracy von 99 Prozent klingt erstrebenswert. Bei seltenen Ereignissen ist sie oft die trügste Kennzahl überhaupt.

Accuracy und Recall versprechen beide eine einzige Zahl für Modellqualität – deshalb werden sie verwechselt. Accuracy zählt nur, wie oft das Modell richtig liegt – nicht, was es verpasst.

Accuracy ist der Anteil korrekt klassifizierter Beispiele, egal welcher Art die Fehler sind. Bei 99 Prozent normalen Transaktionen und einem Prozent Betrug sagt ein Modell einfach immer „kein Betrug“ – und erreicht 99 Prozent Accuracy, ohne einen einzigen Betrugsfall zu erkennen. Genau daran zeigt sich, dass die Kennzahl über die Qualität täuscht.

Precision und Recall blicken stattdessen auf die seltene Klasse. Precision ist der Anteil der als positiv vorhergesagten Beispiele, die tatsächlich positiv sind – also: Wie viele Alarme waren berechtigt? Recall ist der Anteil der tatsächlich positiven Fälle, die gefunden wurden – also: Wie viele echte Betrügereien wurden entdeckt? Beide stammen aus der Konfusionsmatrix, die richtig positive, falsch positive, richtig negative und falsch negative Vorhersagen zählt.

Accuracy misst Gesamttreffer, Precision und Recall messen die seltene Klasse gezielt. Der F1-Wert, das harmonische Mittel beider, bestraft ein starkes Ungleichgewicht, weil er nahe am kleineren Wert liegt.

Faustregel: Zuerst prüfen, wie die Klassen verteilt sind und was ein trivialer Baseline-Klassifikator wie scikit-learns DummyClassifier erreicht. Bei teuren Folgen übersehener Fälle, etwa einer nicht erkannten Krankheit, führt Recall; bei teuren Fehlalarmen, etwa gesperrten Konten, zählt Precision.

Accuracy sagt also nicht „das Modell erkennt Betrug“, sondern nur „das Modell liegt oft richtig“. Bei seltenen Klassen entscheiden Precision, Recall und F1 – nicht die Accuracy.

📌 Accuracy vs. Recall · Konfusionsmatrix · F1-Wert

📚 KI von Grund auf · Tag 6 von 30
#machinelearning #Evaluation #ki

Ein Wächter, der jeden Abend „alles sicher“ ruft, hat fast immer recht. Dabei überblickt er nur, was ohnehin meistens passiert.

So funktioniert eine Accuracy wie ein Wachmann, der abends nur zählt: Er zählt abends nur, wie oft seine Meldung gestimmt hat. Ruft er in einem ruhigen Dorf stets „alles sicher“, liegt er fast immer richtig. Nur die zwei Einbrüche im Jahr übersieht er komplett. Sein Ruf bleibt trotzdem tadellos.

Fachlich entspricht das der Accuracy, dem Anteil aller richtigen Vorhersagen über alle Klassen zusammen. Bei einer Klassifikation, also der Vorhersage einer Kategorie wie Spam oder kein Spam, zählt sie Treffer der häufigen und der seltenen Klasse zusammen. Sind 99 Prozent der Beispiele harmlos, erreicht ein Modell, das immer „harmlos“ sagt, 99 Prozent Accuracy. Es erkennt kein einziges seltenes Ereignis.

Statt nur abends zu zählen, muss der Wächter gezielt nach den Einbrüchen fragen. Der Recall misst, welchen Anteil der tatsächlich vorhandenen Fälle einer Klasse das Modell findet. Die Precision misst, wie viele der als „Fälle“ gemeldeten Beispiele wirklich welche sind. F1, das harmonische Mittel aus beiden, ist nur hoch, wenn beide Kennzahlen hoch sind. Beim Betrug- oder Krankheitsscreening entscheidet meist der Recall, weil übersehene Fälle teurer sind als falsche Alarme.

Das Bild hat eine Grenze: Der Wächter meldet nur ganz oder gar nicht. Ein Modell trifft aber Wahrscheinlichkeitsaussagen, und die Schwelle, ab der „Fall“ gilt, verschiebt Recall und Precision gegeneinander. Beide gehören immer zusammen gelesen.

Genauigkeit heißt hier nicht, dass das Modell gut ist. Precision, Recall und F1 verraten, ob es die Klasse findet, um die es geht.

📌 Accuracy täuscht bei Imbalance · Precision und Recall gehören zusammen · F1 als Gesamtmaß

📚 KI von Grund auf · Tag 6 von 30
#machinelearning #Evaluation #ki

99 Prozent richtig und trotzdem nutzlos: Das schafft ein Modell, das einfach immer „kein Betrug“ sagt. Accuracy allein verrät darüber nichts.

Bei der Klassifikation ordnet ein Modell jedem Beispiel eine Klasse zu, etwa „Betrug“ oder „kein Betrug“. Kommt eine Klasse viel seltener vor (Class Imbalance), verschwindet sie in der Gesamtgenauigkeit.

Zuerst gilt es, die triviale Baseline zu berechnen: die Regel „immer die Mehrheitsklasse vorhersagen“. Ist Betrug in einem Prozent der Fälle, liegt dieses dumme Modell bei 99 Prozent Accuracy – und findet keinen einzigen Betrugsfall. Erst der Vergleich mit dieser Baseline zeigt, ob ein Modell etwas lernt.

Dann hilft die Konfusionsmatrix weiter: eine Tabelle, die richtig positive, falsch positive, richtig negative und falsch negative Vorhersagen zählt. Precision ist daraus der Anteil der als positiv gemeldeten Fälle, die wirklich positiv sind. Recall ist der Anteil der tatsächlichen positiven Fälle, die gefunden wurden.

Danach werden beide Werte zusammen gelesen, denn jede Zahl allein täuscht. Ein Modell kann jeden verdächtigen Fall melden: hoher Recall, niedrige Precision. Oder nur wenige sichere Fälle: hohe Precision, niedriger Recall. Der Schwellenwert von 0,5 für Wahrscheinlichkeiten ist nur eine Konvention; senkt man ihn, steigt der Recall und fällt die Precision.

Zuletzt entscheidet der F1-Wert, das harmonische Mittel beider Größen. Er bestraft Ungleichgewicht: Recall eins und Precision halb ergeben nur einen F1 von zwei Dritteln. Welche Seite wichtiger ist, bestimmen die Kosten: ein übersehener Betrugsfall wiegt anders als ein Fehlalarm.

Accuracy heißt hier nicht Modellqualität, sondern Klassenhäufigkeit in Zahlenform. Wer die seltene Klasse ernst nimmt, liest Precision, Recall und F1 – nie nur die Gesamtgenauigkeit.

📌 Class Imbalance · Precision und Recall · F1-Wert

📚 KI von Grund auf · Tag 5 von 30
#machinelearning #Evaluation #ki

Accuracy beeindruckt mit hohen Prozentwerten. Precision und Recall verraten dagegen, was ein Modell wirklich kann.

Beide bewerten dieselben Vorhersagen eines Klassifikators, also eines Modells, das jedem Beispiel eine Klasse zuordnet. Accuracy wirkt wie die ehrliche Gesamtnote, weil sie alles zusammenzählt.

Accuracy ist der Anteil korrekt klassifizierter Beispiele an allen Beispielen. Jedes Beispiel zählt gleich, egal zu welcher Klasse es gehört. Bei Betrugsfällen, die nur ein Prozent der Transaktionen ausmachen, sagt ein Modell, das immer „kein Betrug“ vorhersagt, 99 Prozent richtig und findet trotzdem keinen einzigen Betrugsfall.

Precision und Recall arbeiten dagegen mit der Konfusionsmatrix, einer Tabelle mit vier Feldern: richtig positiv, falsch positiv, richtig negativ, falsch negativ. Precision ist der Anteil der als positiv gemeldeten Fälle, die echt sind; Recall ist der Anteil der echten Fälle, die gefunden wurden. Der F1-Wert ist das harmonische Mittel aus beiden – eine Mittelung, bei der der kleinere der beiden Werte stärker durchschlägt – und bestraft ein starkes Ungleichgewicht. Meldet ein Modell zehn Verdachtsfälle und acht sind echt, liegt die Precision bei acht Zehnteln.

Aus der Konfusionsmatrix abgelesen, zeigen sie Stärken und Schwächen, die eine hohe Accuracy verbirgt.

Faustregel: Bei seltenen Ereignissen nie Accuracy allein betrachten; ein Modell muss die Baseline „immer die Mehrheitsklasse“ (in scikit-learn der DummyClassifier) deutlich schlagen, und zwischen Precision und Recall entscheiden die Kosten eines übersehenen Falls gegenüber einem Fehlalarm.

Ein hoher F1-Wert heißt also nicht „gutes Modell“, sondern „ausgewogen auf der Zielklasse“. Accuracy zählt Treffer, Precision und Recall zählen, was davon zählt.

📌 Accuracy vs. Recall · Konfusionsmatrix · Klassenungleichgewicht

📚 KI von Grund auf · Tag 5 von 30
#machinelearning #Evaluation #ki

Viele erste Projekte enden mit einer niedrigen Trefferquote, die niemand so richtig benennen kann. Dabei zeigt meist nicht das Modell ein Problem, sondern die Auswertung.

Trotzdem landen echte Spam-Nachrichten im Postfach und harmlose Mails im Filter – beides gleichzeitig.

Der Grundbegriff dahinter ist die Konfusionsmatrix, eine Tabelle mit vier Feldern für jede Vorhersage. Die eine Achse ist das tatsächliche Label, also ob ein Beispiel wirklich positiv oder negativ ist; die andere Achse ist die Vorhersage des Modells. Positiv und negativ sind keine Wertung, sondern die Klasse, auf die getestet wird – etwa „Spam“; welche Klasse positiv ist, legt man vorher fest.

Richtig positiv zählt die Treffer, falsch positiv die Fehlalarme, falsch negativ die übersehenen Fälle und richtig negativ die korrekt durchgelassenen harmlosen Fälle. Der Irrtum, „falsch positiv“ mit „falsch vorhergesagt“ gleichzusetzen, verursacht genau dieses Symptom, denn „positiv“ benennt immer die Vorhersage – richtig oder falsch steht nur davor.

Beispiel Spamfilter: 100 E-Mails, davon 10 Spam; das Modell markiert 8 E-Mails als Spam, 6 davon tatsächlich Spam. Precision, der Anteil echter Treffer unter allen Positiv-Vorhersagen, liegt bei 6/8; Recall, der Anteil der erfassten Fälle unter allen echten Fällen, bei 6/10. Bei Betrugserkennung wiegt ein übersehener Fall anders als ein Fehlalarm; welche Metrik zählt, hängt von den Fehlerkosten ab.

So prüft man es: Jedes Beispiel aus dem Testdatensatz einem der vier Felder zuordnen und die Felder zählen. Dann die Felder für falsch positiv und falsch negativ getrennt auszählen – Fehlalarme und übersehene Fälle.

Die Konfusionsmatrix heißt nicht „Tabelle mit einer Fehlerzahl“, sondern „vier Felder mit je einer eigenen Frage an das Modell“.

📌 Konfusionsmatrix · Fehlalarm vs. übersehen

📚 KI von Grund auf · Tag 3 von 30
#machinelearning #Evaluation

Die meisten Einsteiger fragen nach einer einzigen Zahl für „Genauigkeit“. Dabei verbergen sich dahinter zwei völlig verschiedene Fragen.

Accuracy – der Anteil korrekt klassifizierter Beispiele – kann hoch ausfallen und trotzdem jeden Einzelfall verfehlen. Gerade bei seltenen Ereignissen ist sie fast wertlos. Deshalb misst man getrennt, was getroffen wurde und was gefunden wurde.

🧠 Precision fragt: „Wie viele der getroffenen Vorhersagen stimmen?“ Sie zählt die als positiv markierten Fälle und prüft, wie viele davon echt positiv sind. Ein Fehlalarm (falsch positives Beispiel) senkt sie sofort. Ein Modell, das nur wenige, aber sichere Vorhersagen trifft, erreicht hohe Precision – und übersieht dafür vielleicht vieles.

📊 Recall fragt: „Wie viele der tatsächlichen Fälle wurden gefunden?“ Beim Nenner stehen alle echten positiven Fälle, nicht die Vorhersagen. Ein übersehener Fall (falsch negatives Beispiel) senkt den Recall. Wer die Nenner verwechselt, verwechselt die Metriken – das ist der häufigste Zählfehler.

🔍 Beide Zahlen stammen aus derselben Konfusionsmatrix – einer Tabelle, die richtige und falsche Vorhersagen zählt. Beispiel Spamfilter: 100 E-Mails, davon 10 Spam; 8 werden markiert, 6 davon sind wirklich Spam. Precision = 6/8, Recall = 6/10. Welche zählt, hängt von den Fehlerkosten ab: Bei Betrugserkennung wiegt ein übersehener Betrug schwerer als ein Fehlalarm. Wer beide zusammenfassen will, nutzt den F1-Wert, das harmonische Mittel aus beiden.

Precision heißt nicht „Recall mit anderem Namen“, sondern die Gegenfrage: Qualität der Treffer statt Vollständigkeit der Suche.

📌 Precision · Recall · Konfusionsmatrix

📚 KI von Grund auf · Tag 3 von 30
#machinelearning #Evaluation #ki

Ein Modell kann jede Übungsaufgabe fehlerfrei lösen und in der Prüfung trotzdem scheitern. Genau das passiert beim Overfitting, einem der häufigsten Fehler im Machine Learning.

Wer eigene Modelle trainiert, begegnet Overfitting spätestens beim ersten Vergleich von Trainings- und Validierungsergebnis. Wer es nicht kennt, hält ein auswendig lernendes Modell für gut und wundert sich über schlechte Vorhersagen auf neuen Daten.

Overfitting (Überanpassung) liegt vor, wenn ein Modell die Trainingsbeispiele nahezu auswendig lernt statt den zugrunde liegenden Zusammenhang. Ein Modell mit vielen Parametern hat genug freie Kapazität, jedes Beispiel einzeln zu speichern – auf neuen Daten hilft das nichts, weil dort im Detail andere Fälle stehen.

Man passt die Parameter auf einer Trainingsmenge an, wählt das Modell anhand einer separaten Validierungsmenge und trägt beide Fehler über die Epochen, also die Trainingsdurchläufe, in eine Kurve ein. Beim Overfitting sinkt der Trainingsfehler weiter, während der Validierungsfehler stagniert oder steigt. Diese wachsende Lücke ist das Warnzeichen, nicht der Trainingsfehler allein. Mit Early Stopping beendet man das Training, wenn sich der Validierungsfehler über eine festgelegte Zahl von Epochen nicht mehr verbessert, und behält die beste Zwischenversion.

Verwechselt wird Overfitting mit Underfitting, wo der Fehler auf Trainings- wie Validierungsdaten hoch ist, weil das Modell zu schwach ist. Der Unterschied zeigt sich in der Lücke: fehlt sie bei hohen Fehlern, ist das Modell zu schwach; wächst sie, lernt es auswendig.

Overfitting heißt nicht, dass ein Modell zu gut gelernt hat, sondern dass es die falsche Sache gelernt hat: Beispiele statt Zusammenhang.

📌 Trainingsfehler vs. Validierungsfehler · Generalisierung · Early Stopping

📚 KI von Grund auf · Tag 3 von 30
#machinelearning #Evaluation #ki #deeplearning

Viele Anfänger trainieren, testen und wundern sich dann, dass die tollen Ergebnisse in der Praxis schwinden. Der Fehler liegt fast immer an denselben Daten, die zweimal benutzt wurden.

Viele denken, alles verfügbare Datenmaterial gehöre ins Training und der Rest sei egal für die Bewertung. Das klingt plausibel, weil mehr Daten meist bessere Modelle ergeben. Auch erscheint es naheliegend, mehrere Varianten am Testdatensatz zu vergleichen und die beste Zahl zu veröffentlichen.

Die Trainingsmenge passt die Parameter, also die vom Modell selbst gelernten Gewichte. Die Validierungsmenge dient der Auswahl zwischen Varianten und dem Abstimmen von Hyperparametern wie Lernrate oder Epochenanzahl, die vorab festgelegt werden. Die Testmenge liefert genau einmal eine unverfälschte Schätzung.

Der Irrtum entsteht, weil die drei Mengen im Code wie ein Datensatz wirken. Ein Split, also die Aufteilung des Gesamtbestands in feste Anteile, wirkt im Code wie eine Nebensache, und das Testergebnis wie eine freie Rückmeldung.

Ein Beispiel: Bei einem E-Mail-Spamfilter werden Hyperparameter mit der Validierungsmenge abgestimmt, etwa die Zahl der Trainingsepochen. Überwacht man dort den Fehler, stoppt man rechtzeitig, sobald er trotz sinkendem Trainingsfehler zu stagnieren beginnt. Erst am Schluss wird die Testmenge einmal geprüft.

Woran man es erkennt: Die Testmenge wurde mehr als einmal angefasst, etwa für Vergleiche oder Vorberechnungen. Ein Datenleck (Leakage) entsteht schon dadurch, dass über alle Daten vor dem Split normalisiert wird, statt die Werte nur auf den Trainingsdaten zu berechnen.

Test heißt nicht nochmal vergleichen, sondern einmal ehrlich messen. Wer die Testmenge wiederholt für Entscheidungen nutzt, verwandelt sie in eine Validierungsmenge, und die berichtete Leistung fällt zu optimistisch aus.

📌 Generalisierung · Leakage · Testmenge

📚 KI von Grund auf · Tag 3 von 30
#machinelearning #Evaluation #ki

Ein Modell kann jede Trainingsaufgabe perfekt lösen und trotzdem nichts können. Denn gemessen wird es nicht am Übungsmaterial, sondern an Daten, die es nie gesehen hat.

Das Training passt die Parameter, also die inneren Stellschrauben des Modells, an Beispiele an. Das kennen Sie vom Lernen mit Lösungsheft: Vorhersage machen, mit der richtigen Antwort vergleichen, Verhalten korrigieren.

Zuerst sammelt man Daten, die das richtige Ergebnis enthalten, etwa tausend bereits einsortierte E-Mails für einen Spamfilter. Eine Verlustfunktion (Loss) misst, wie weit die Vorhersagen danebenliegen. Das Training verändert die Parameter so, dass dieser Verlust sinkt.

Dann droht die Verführung: Ein Modell könnte die Trainingsbeispiele einfach auswendig lernen. Niedriger Fehler auf Trainingsdaten beweist deshalb nicht, dass es einen allgemeinen Zusammenhang erkannt hat. Schlimmer noch: Wer versehentlich eine Spalte als Merkmal, also als Eingabeinformation, nutzt, die das Label, also die richtige Zielangabe, bereits verrät, bekommt täuschend gute Werte.

Danach prüft man die Generalisierung, also die Fähigkeit, auf ungesehenen Daten gute Ergebnisse zu liefern. Dafür teilt man die Daten vor dem Training auf: einen größeren Teil zum Lernen, einen kleineren Teil als Testdaten, den das Modell nie sieht.

Zuletzt kommt die Inferenz, der Einsatz des fertigen Modells. Frisch eingehende E-Mails haben kein Lösungsheft mehr. Ist das Modell dort gut, hat es wirklich gelernt; ist es nur dort gut, wo es geübt hat, nennt man das Überanpassung (Overfitting).

Generalisierung heißt nicht, die Trainingsdaten zu wiederholen, sondern auf Neues richtig zu antworten. Eine Bewertung ist nur ehrlich, wenn sie auf Daten erfolgt, die das Modell nie beim Lernen gesehen hat.

📌 Generalisierung · Trainingsdaten vs. Testdaten · Overfitting

📚 KI von Grund auf · Tag 2 von 30
#machinelearning #ki #Evaluation

Die meisten Tabellen sind für ein Modell einfach eine Wand aus Spalten. Dabei entscheidet allein die Aufgabenstellung, welche Spalte Eingabe ist und welche die Antwort.

Beim überwachten Lernen lernt ein Modell aus Beispielen mit bekannter Antwort. Das begegnet jedem täglich: Spamfilter sortieren E-Mails, Immobilienportale schätzen Hauspreise.

Zuerst steht die Frage, was vorhergesagt werden soll. Diese Zielgröße heißt Label. Beim Hauspreis-Beispiel ist das der Verkaufspreis als Zahl; beim Spamfilter das Urteil „Spam“ oder „kein Spam“.

Dann werden die Merkmale festgelegt – die Eingangsgrößen, aus denen das Modell seine Vorhersage ableitet. Für das Haus sind das Fläche, Baujahr und Lage; für die E-Mail Wörter und Absenderdaten. Die Auswahl entscheidet, welche Muster das Modell überhaupt sehen kann.

Danach erzeugt jemand die Labels, oft der aufwendigste Schritt. Menschen sammeln und prüfen die richtigen Antworten oder übernehmen sie aus bestehenden Systemen. Während des Trainings passen sich die Parameter des Modells an diese Beispiele an.

Zuletzt kommt die Inferenz: der Einsatz des fertigen Modells auf neuen Eingaben. Dort liegen keine Labels vor. Das Modell bekommt nur die Merkmale und liefert eine Vorhersage, die sich später mit dem echten Wert vergleichen lässt.

Derselbe Preis ist in einer Aufgabe das Label, in einer anderen ein Merkmal – etwa wenn die Lage aus Preisen vorhergesagt wird.

Achtung: Eine Spalte, die das Label verrät oder erst nach dem Ereignis entsteht, lässt das Modell im Training gut wirken und versagt dann auf neuen Daten. Wer die Rollen nicht selbst festlegt, bevor ein Modell trainiert wird, überlässt die Entscheidung dem Zufall.

Merkmale und Labels sind also Rollen, keine Spalteneigenschaften – derselbe Preis ist in einer Aufgabe das Label, in einer anderen ein Merkmal.

📌 Merkmal · Label · Inferenz

📚 KI von Grund auf · Tag 2 von 30
#machinelearning #ki #Evaluation

Spam oder kein Spam – Preis in Euro: Beide Fragen stellt ein Modell. Einmal lautet die Antwort eine Kategorie, einmal eine Zahl.

Die Verwechslung entsteht, weil dasselbe Modell beide Aufgaben lösen kann. Der Unterschied liegt nicht im Modelltyp, sondern allein in der Art des Labels, also der Zielgröße, die vorhergesagt werden soll.

Klassifikation sagt eine Kategorie voraus. Aus Merkmalen – das sind Eingangsgrößen wie Wörter und Absenderdaten einer E-Mail – wählt das Modell eine feste Antwort wie „Spam“ oder „kein Spam“. Die Ausgabe ist also eine von genau zwei festen Kategorien, nicht eine Zahl. Ein typisches Beispiel ist der Spamfilter: Menschen haben E-Mails vorher als Spam markiert, und das Modell lernt daraus.

Regression sagt einen Zahlenwert voraus. Das Modell schätzt aus Merkmalen eine messbare Menge, etwa aus Fläche, Baujahr und Lage eines Hauses den Verkaufspreis. Eine Abweichung von tausend Euro ist fast richtig, eine von hunderttausend Euro fast falsch. Solche Zwischentöne gibt es bei Kategorien nicht.

Der entscheidende Unterschied steckt in der Frageform: „Welche Kategorie ist es?“ führt zur Klassifikation, „Wie viel?“ zur Regression. Weil nur bei der Regression Abstände existieren, misst man sie mit dem mittleren quadratischen Fehler; die Klassifikation misst Genauigkeit, also den Anteil richtiger Vorhersagen. Die Aufgabenwahl bestimmt damit Metrik und Ausgabeform.

Faustregel: Bei Zahlen zuerst fragen, ob sie eine messbare Menge beschreiben oder nur ein Etikett. Eine Hausnummer kennzeichnet nur eine Kategorie – sie vorherzusagen ist Klassifikation, obwohl sie wie eine Zahl aussieht.

Klassifikation heißt nicht „mit Zahlen rechnen“, sondern „eine Kategorie wählen“; Regression heißt „eine Menge schätzen, bei der Nähe zählt“.

📌 Klassifikation vs. Regression · Label-Art · Metrikwahl

📚 KI von Grund auf · Tag 1 von 30
#machinelearning #ki #Evaluation

Responsible AI Workshop durchgeführt. Die wichtigste Übung: Wir haben unser Recruiting-Modell auf Gender-Bias getestet. Ergebnis - männliche Kandidaten wurden systematisch 12% höher bewertet. Ursache: Historische Trainingsdaten spiegelten bestehende Ungleichgewichte wider.

Lösung: Debiasing der Trainingsdaten, Fairness-Metriken in der Evaluation-Pipeline, und ein Audit-Prozess für alle produktiven Modelle. Ethik ist kein Add-on, sondern Grundvoraussetzung für verantwortungsvolle KI-Entwicklung. #responsibleai #ethik #fairness