Die Antwort erscheint Wort für Wort – und trotzdem entsteht sie Stück für Stück. Ein Sprachmodell plant keinen Satz, es wählt immer nur den nächsten Baustein.

Erklärt wird die schrittweise Erzeugung von Text: der autoregressive Ablauf, bei dem aus Wahrscheinlichkeiten Token für Token die Antwort aufgebaut wird. Er steckt hinter jeder Chat-Antwort, ob kurzer Hinweis oder langer Brief.

Zuerst zerlegt ein Tokenizer, also das Zerlegungsprogramm, die Eingabe in Tokens. Diese Reihenfolge verarbeitet das Modell – es denkt nicht in Wörtern.

Dann berechnet das Modell für jedes mögliche Folge-Token eine Wahrscheinlichkeit über das gesamte Vokabular. Ein Sprachmodell ist darauf trainiert, genau dieses nächste Token vorherzusagen. Nach „Die Sonne scheint am“ erhalten „Himmel“ und „Morgen“ hohe Werte, „Kartoffel“ sehr niedrige.

Danach wird ein Token ausgewählt, und die Temperatur (eine Einstellung, die die Verteilung skaliert) bestimmt, wie: Unter 1 bevorzugt wahrscheinliche Tokens, über 1 mischt der Zufall stärker mit. Temperatur 0 wählt gierig das wahrscheinlichste Token und liefert bei gleicher Eingabe stets dieselbe Fortsetzung. Top-p begrenzt die Auswahl auf die kleinste Menge, deren Wahrscheinlichkeiten zusammen mindestens p ergeben.

Zuletzt wird das gewählte Token angehängt und das erweiterte Stück zur neuen Eingabe. Der Vorgang wiederholt sich, bis ein Stopp-Token oder eine gesetzte Höchstlänge die Ausgabe beendet. Weil jeder Schritt ein voller Durchlauf ist, wächst die Zeit mit der Tokenzahl; auch das Kontextfenster, die maximale berücksichtigte Tokenzahl, begrenzt den Blick.

Ein Sprachmodell plant also nicht, sondern würfelt gezielt weiter. Geschwindigkeit, Länge und Abwechslung der Antwort folgen direkt aus dieser Mechanik.

📌 Autoregressive Erzeugung · Temperatur · Token für Token

📚 KI von Grund auf · Tag 3 von 30
#llm #machinelearning #Inferenz