Halluzinationen sind kein Bug, sondern eine Eigenschaft von Sprachmodellen. Ein flüssiger Satz ist deshalb noch lange kein wahrer Satz.

Einsteiger begegnen Halluzinationen überall dort, wo ein Sprachmodell Fakten liefern soll: eine Jahreszahl, ein Zitat, ein Name. Wer den Begriff nicht kennt, vertraut der glatten Formulierung und gibt Fehler weiter.

Sie entsteht, weil das Modell keine geprüften Fakten abfragt, sondern Text als Wahrscheinlichkeitsfortsetzung erzeugt. Ein Token ist je nach Tokenizer, dem Programm, das Text in Tokens zerlegt, ein Wort, ein Wortteil oder ein Zeichen. Das Modell plant keinen Satz und kennt kein Ziel am Ende: Es sieht nur die bisher vorhandenen Tokens und wählt ein wahrscheinliches Folge-Token aus.

Ein Beispiel: Das Modell soll ein Zitat einer berühmten Person belegen. Es erzeugt klingende Worte, die die Person so nie gesagt hat, und nennt dazu Fundort und Jahr. Alles wirkt korrekt, nichts ist geprüft. Das Verfahren liefert bei dieser Ausgabe genau das, wofür es gebaut ist.

Verwechselt wird das mit einem technischen Fehler, den ein Update behebt. Im Unterschied dazu funktioniert die Wahrscheinlichkeitsfortsetzung auch einwandfrei, nur eben ohne Wahrheitsfilter. Auch eine höhere Temperatur hilft nicht: Sie erhöht nur die Streuung und kann falsche Ausgaben häufiger machen.

Wer mit Quellen arbeitet, kann die Kontrolle verbessern. Beim Retrieval werden Dokumente mitgeliefert, denen die Antwort entnommen wird. Der Text außerhalb der Belege bleibt auch dann Wahrscheinlichkeitsfortsetzung. Praxisregel: Fundstelle und Datum selbst prüfen, bevor eine Aussage weitergegeben wird.

Halluzination heißt nicht, dass das Modell kaputt ist, sondern dass es plausible statt geprüfte Aussagen liefert.

📌 Wahrscheinlichkeitsfortsetzung statt Faktenabfrage · Flüssigkeit ist kein Wahrheitsbeweis · Fundstelle selbst prüfen

📚 KI von Grund auf · Tag 4 von 30
#llm #machinelearning #ki