Ein Sprachmodell schreibt wie ein Spieler, der Wort für Wort weiterspielt. Es kennt keine Antworten, nur die plausibelste Fortsetzung.

Stellen Sie sich das Spiel „Wörterkette“ vor: Jemand nennt einen Satzanfang, und Sie müssen mit einem einzigen Wort weitermachen. Dann kommt Ihr Wort dazu, und die Runde beginnt von neuem. Sie wählen nie aus, was richtig ist. Sie wählen, was am ehesten passt.

Genau so arbeitet ein großes Sprachmodell. Der Text wird in Tokens zerlegt – Textstücke wie ganze Wörter, Wortteile oder Satzzeichen. Für jedes mögliche nächste Token berechnet das Netz eine Wahrscheinlichkeit. Ein Token wird ausgewählt, angehängt, und die erweiterte Eingabe erneut verarbeitet. So entsteht Satz für Satz die Antwort.

Fachlich gesehen ist das Modell ein neuronales Netz, das aus sehr großem Trainingsmaterial nur eine Aufgabe lernt: das nächste Token vorhersagen. Eine Verlustfunktion misst, wie weit die Vorhersage vom richtigen Token entfernt ist, und das Training verändert die Parameter so, dass dieser Verlust sinkt. Beim Training werden die Parameter also laufend angepasst; bei der Inferenz, der Anwendung des fertigen Modells, bleiben sie fest.

Ein Beispiel: Nach „Der Himmel ist“ vergeben gute Modelle dem Token „blau“ eine hohe Wahrscheinlichkeit, „grün“ eine niedrige. Nicht weil das Netz Blauheit kennt, sondern weil die Trainingstexte dort fast immer „blau“ fortführen.

„Das Bild hat eine Grenze:“ Beim Wörterspiel überlegen Menschen bewusst nach. Das Modell speichert keine Fakten wie eine Datenbank und prüft keine Aussage auf Wahrheit. Deshalb kann eine sehr wahrscheinliche Fortsetzung fachlich falsch sein – eine Halluzination.

Das Modell weiß also nichts. Es berechnet Wahrscheinlichkeiten für Fortsetzungen, und Verstehen ist der Eindruck, den gute Fortsetzungen hinterlassen.

📌 Token · Wahrscheinlichkeit · Halluzination

📚 KI von Grund auf · Tag 3 von 30
#llm #machinelearning #ki