Ein Sprachmodell antwortet wie ein kluger Mensch ohne Zugang zum Archiv. Es kann flüssig formulieren, aber zu internen Handbüchern oder aktuellen Regeln hat es keinen Zugang.

RAG funktioniert wie eine Prüfung mit offenem Buch. Die Frage kommt, und zuerst wird in den Unterlagen geblättert. Die passende Seite wird auf den Tisch gelegt, daneben die Frage. Erst dann wird die Antwort formuliert – auf Basis dessen, was vor dem Prüfling liegt.

Die Dokumente werden vorher einmalig in Chunks zerlegt, also kurze Textstücke, weil Modelle begrenzte Kontextfenster haben. Ein Embedding-Modell übersetzt jedes Chunk in einen Vektor, eine Zahlenreihe, die Bedeutung codiert; ähnliche Texte liegen dort nahe beieinander. Bei einer Anfrage wird deren Vektor berechnet, über die Kosinus-Ähnlichkeit die ähnlichsten Chunks gesucht und gemeinsam mit der Frage in den Prompt eingefügt.

Ein Beispiel: Ein Mitarbeiter fragt „Wie viele Urlaubstage habe ich bei Teilzeit?“. Die Vektorsuche findet den passenden Abschnitt der Personalrichtlinie, und das Modell antwortet mit deren Inhalt statt zu raten. Wichtig ist: Anfrage und Dokumente müssen mit demselben Embedding-Modell eingebettet werden.

Das Bild hat eine Grenze: Beim offenen Buch sieht der Prüfling sofort, ob die Seite fehlt. Ein Sprachmodell halluziniert lieber – es erzeugt plausible, aber falsche Antworten, wenn das Retrieval nichts Passendes liefert. Dann hilft auch das beste Modell nicht; die Ursache liegt bei den Textstellen, nicht beim Formulieren.

RAG schult das Modell also nicht um, sondern legt ihm passendes Wissen auf den Tisch.

📌 Chunks · Embedding · Vektorsuche

📚 KI von Grund auf · Tag 4 von 30
#rag #llm #Embeddings #ki