Viele erwarten von einem Sprachmodell ein Gedächtnis wie von einem Notizbuch. Dabei hat das Modell nur ein Kontextfenster – einen begrenzten Arbeitsspeicher für den Moment.

Die Verwechslung ist naheliegend, weil Chats sich anfühlen wie ein zusammenhängendes Gespräch. Tatsächlich hat das Modell keinen dauerhaften Speicher für Gespräche; es bekommt bei jeder Anfrage den Verlauf erneut als Eingabe.

Das Kontextfenster ist die maximale Anzahl Tokens, die ein Modell in einem Durchgang aus Eingabe und bisher erzeugter Ausgabe berücksichtigen kann. Ein Token ist die Einheit, in die ein Tokenizer den Text zerlegt: ein Wort, ein Wortteil oder ein Zeichen. Alles, was über die Grenze hinausgeht, sieht das Modell schlicht nicht. Ein Chat mit einer langen Anweisung, drei Dokumenten und dem bisherigen Verlauf verbraucht Tokens für all dieses zusammen; die Antwort entsteht aus genau diesem Ausschnitt.

Der dauerhafte Speicher wäre ein ausgelagertes Archiv, das unbegrenzt nachblättern kann. Solche Speicher lassen sich ergänzen, etwa mit einer Datenbank, die alte Gesprächsteile bereithält. Das Sprachmodell selbst kann das nicht: Es muss beim Erreichen der Grenze neu zusammengefasst oder gekürzt werden. Es kann nicht wie eine Datenbank nachschlagen, was vor zwanzig Nachrichten stand.

Das Kontextfenster ist ein Arbeitsplatz mit fester Größe, kein Archiv. Was nicht mehr darauf liegt, ist für die nächste Antwort weg.

Faustregel: Vor dem Absenden die Tokenzahl messen, denn Kontextgrenze und Abrechnung hängen an Tokens. Deutsche Texte mit Umlauten und zusammengesetzten Wörtern zerfallen in mehr Tokens als englische gleicher Länge; Wort- oder Zeichenzahlen trügen.

Das Kontextfenster heißt nicht Gedächtnis, sondern Arbeitsspeicher: begrenzt, ganz gegenwärtig, ohne Erinnerung an Früheres.

📌 Kontextfenster · Tokens · Arbeitsspeicher

📚 KI von Grund auf · Tag 3 von 30
#llm #machinelearning #ki #Inferenz