Eine Anfrage an ein Sprachmodell funktioniert wie eine Prüfung mit open book – erst lesen, dann schreiben. Dabei passiert technisch mehr, als man denkt.

Das Bild ist eine mündliche Prüfung mit aufgelegtem Ordner. Der Prüfling überfliegt zuerst den ganzen Ordner in einem Zug. Danach formuliert er die Antwort und spricht sie Satzglied für Satzglied. Der Ordner bleibt dabei unverändert, nur was darin liegt, wechselt von Prüfung zu Prüfung.

Fachlich heißt der erste Teil Prefill: das Modell verarbeitet den gesamten Prompt, also die Eingabe, parallel in einem Durchgang. Der zweite Teil heißt Decode: danach erzeugt das Modell Token für Token, also kleine Wortbausteine, die Antwort. Wer eigene Inhalte mitgibt, nutzt RAG, Retrieval-Augmented Generation: passende Textstellen werden zur Laufzeit in den Prompt gelegt, das Modell selbst bleibt unverändert. Das Kontextfenster, die maximale Zahl Tokens aus Eingabe und bisheriger Ausgabe, begrenzt, wie dick der Ordner sein darf.

Ein Beispiel: Ein Unternehmen will, dass das Modell Fragen zu internen Handbüchern beantwortet. RAG holt die passende Handbuchstelle in den Prompt, das Modell antwortet auf dieser Grundlage und halluziniert seltener. Will das Unternehmen stattdessen eine feste Antwortform, etwa immer knappe Stichpunkte, hilft der Ordner nicht.

Das Bild hat eine Grenze: Fine-Tuning, also das Nachtrainieren des Modells mit eigenen Daten, ist kein dickerer Ordner, sondern ein anderer Prüfling. Es verändert den Prüfling selbst, vor allem dessen Formulierungen und Muster, nicht zuverlässig einzelne Fakten.

Fakten legt man in den Prompt, Stil trainiert man ins Modell. Das Eine lernt Wissen, das Andere Aussehen.

📌 Prefill vs. Decode · RAG für Fakten · Fine-Tuning für Stil

📚 KI von Grund auf · Tag 5 von 30
#llm #rag #machinelearning