Die meisten wollen einem Sprachmodell neue Fakten beibringen – und greifen dafür zum Fine-Tuning. Dabei ist Nachtrainieren der falsche Weg, wenn es um Wissen geht.

Einsteiger begegnen beiden Wegen sofort, sobald ein Modell eigene Inhalte nutzen soll: Fine-Tuning heißt Nachtrainieren, RAG heißt Retrieval-Augmented Generation, also eine Suche, die vor dem Antworten Dokumente in den Prompt legt. Wer die Regel nicht kennt, trainiert tagelang – und erhält ein Modell, das die Fakten trotzdem unzuverlässig wiedergibt.

Fine-Tuning passt die Gewichte, also die lernbaren Parameter eines vortrainierten Modells, mit eigenen Beispielen an. Ein Trainingsschritt in PyTorch läuft so: Vorwärtsdurchlauf, Verlust berechnen, optimizer.zero_grad(), loss.backward() per Autograd, dann optimizer.step(). RAG ändert die Gewichte nicht. Stattdessen läuft vor dem Antworten eine Suche im Dokumentenbestand, und die gefundenen Textstellen wandern mit in den Prompt – Anweisung und Dokumentinhalt landen im selben Textblock.

Ein Beispiel: Soll das Modell Firmensprache und ein festes Antwortformat verwenden, ist Fine-Tuning richtig. Soll es Auskunft über das aktuell gültige Urlaubsreglement geben, reicht RAG mit dem Reglement als Dokument. Ändert sich das Reglement, ist die neue Fassung sofort nutzbar – ganz ohne Training.

Verwechselt wird Fine-Tuning oft mit einem Wissensspeicher. Vortrainierte Sprachmodelle merken sich Einzelwissen aus Beispielen aber unzuverlässig, während RAG die Textstelle zitierbar in den Prompt legt. In der Praxis werden beide Wege kombiniert: Das nachtrainierte Modell liefert Stil und Format, die Dokumentensuche liefert den Inhalt.

Fine-Tuning ist kein Weg, Fakten beizubringen, sondern einer, Verhalten zu formen. Neues Wissen gehört in den Kontext, nicht in die Gewichte.

📌 Gewichte vs. Kontext · Fine-Tuning für Verhalten · RAG für Fakten

📚 KI von Grund auf · Tag 22 von 30
#llm #rag #machinelearning