Ohne eingestellte Schwelle gibt ein RAG-System jede Fundstelle an das Modell weiter. Dabei entscheidet nicht die Qualität des Funds, ob er in die Antwort einfließt – sondern nur, dass er im Prompt steht.

Das ist riskant, weil gefundener Text wie eine Anweisung wirken kann.

🧠 Alles im Prompt ist für das Modell gleichberechtigt. RAG (Retrieval-Augmented Generation, die Kombination aus Dokumentensuche und Sprachmodell) fügt gefundene Textstücke zusammen mit der Frage in den Prompt ein. Das Modell prüft nicht, ob ein Abschnitt die Frage wirklich beantwortet – es formuliert nur eine Antwort auf das, was dasteht. Eine Passage aus einem Dokument kann also wie eine Anweisung des Nutzers wirken.

📊 Die Suche liefert immer etwas, auch bei schwacher Ähnlichkeit. Chunks (Textstücke) und Frage werden als Embeddings verglichen – das sind Zahlenvektoren, die Bedeutung abbilden. Findet die Suche nichts Passendes, meldet sie keinen Fehler, sondern liefert trotzdem die nächsten Nachbarn. Deren Ähnlichkeit kann sehr gering sein, und das Modell erzählt daraus eine flüssige, selbstbewusst klingende Antwort.

🔍 Die Schwelle lässt Funde unterhalb der Grenze einfach weg. Die Ähnlichkeitsschwelle ist ein eingestellter Grenzwert für die Kosinus-Ähnlichkeit (ein Maß für die Nähe zweier Vektoren). Auf die Frage „Wie viele Urlaubstage bei Teilzeit?“ liefert die Suche sonst auch „Teilnahme an Fortbildungen“; unterhalb der Schwelle verschwindet der Abschnitt, statt als scheinbarer Beleg in den Prompt zu rutschen. Verbreitet ist der Irrtum, die Schwelle niedrig zu wählen, damit nichts fehlt; was nicht passt, wird dann Quelle einer falschen Antwort.

Ähnlichkeitsschwelle heißt nicht Nettigkeit gegen schwache Treffer, sondern eine harte Grenze: Funde darunter verlassen die Suche gar nicht.

📌 Kosinus-Ähnlichkeit · Grenzwert · Ähnlichkeitsschwelle

📚 KI von Grund auf · Tag 22 von 30
#rag #Embeddings #llm #ki