Viele drehen die Temperatur hoch, weil sie ein kreativeres Modell erwarten. Tatsächlich wird das Modell dadurch nicht klüger – nur seine Auswahl zufälliger.

Viele Einsteiger glauben, eine Temperatur über 0 schalte kreatives Denken frei. Das klingt plausibel, weil höhere Werte oft abwechslungsreichere Antworten liefern.

Tatsächlich berechnet ein Sprachmodell für jedes nächste Token – ein Wort, Wortteil oder Zeichen – eine Wahrscheinlichkeitsverteilung über sein gesamtes Vokabular. Die Temperatur skaliert nur diese Verteilung: Werte unter 1 machen wahrscheinliche Tokens noch wahrscheinlicher, Werte über 1 flachen sie ab. Bei Temperatur 0 wird stets das wahrscheinlichste Token gewählt, die gierige Wahl. Der Regler verändert weder das Modell noch seine Berechnung, sondern nur den Zufall bei der Auswahl.

Der Irrtum entsteht, weil Abwechslung wie Klugheit aussieht. Eine flachere Verteilung erlaubt seltenen, unerwarteten Tokens mehr Chancen – das wirkt kreativ, bleibt aber reiner Zufall aus derselben Rechnung.

Nach dem Satzanfang „Die Sonne scheint am“ vergibt das Modell hohe Wahrscheinlichkeiten an Tokens wie „Himmel“ oder „Morgen“ und sehr niedrige an „Kartoffel“. Bei Temperatur 0 und gleicher Eingabe kann dieselbe Fortsetzung immer wieder erscheinen. Erhöht man die Temperatur, rückt „Kartoffel“ näher heran – mitunter überraschend, aber selten korrekt.

Woran man es erkennt: Wenn bei einer Frage mehrfach unterschiedliche Antworten auftauchen, wirkt der Zufall mit, nicht mehr Verstand. Faustregel: niedrige Temperatur für Zusammenfassen, Übersetzen oder Code, höhere für Ideen und Brainstorming.

Temperatur heißt nicht mehr Intelligenz, sondern mehr Streuung bei der Auswahl. Höhere Werte erhöhen nicht die Richtigkeit – Halluzinationen können sogar häufiger auftreten.

📌 Wahrscheinlichkeitsverteilung · Temperatur · Sampling

📚 KI von Grund auf · Tag 3 von 30
#llm #machinelearning #ki