Viele Einsteiger freuen sich, wenn dieselbe Textstelle mehrfach in der Trefferliste auftaucht. Dabei liefert der zweite Fund keine neue Information, sondern füllt nur das Kontextfenster – die maximale Textmenge, die das Sprachmodell in einem Prompt verarbeiten kann.

Die Antwort bleibt auffallend dünn, obwohl Top-k – die Anzahl der Textstücke, die dem Sprachmodell mitgegeben werden – groß gewählt ist. Das Modell formuliert seine Antwort nur aus dem, was im Prompt steht; es prüft nicht, ob die Stücke die Frage wirklich beantworten.

Chunks sind die Stücke, in die Dokumente zerlegt werden, weil Embeddings (Zahlenvektoren, die Text abbilden) und das Kontextfenster begrenzt sind. Benachbarte Chunks überlappen sich, damit Aussagen an den Grenzen nicht zerrissen werden – dadurch teilen sie sich Textpassagen. Dazu kommt hybrides Retrieval, das Vektorsuche (Suche über Embeddings) und Stichwortsuche kombiniert und die Ergebnislisten verschmilzt. Derselbe Chunk kann so über beide Wege zweimal auftauchen.

Ein Dokument wird in überlappende Chunks zerlegt. Chunk 4 und Chunk 5 enthalten denselben Satz zum Thema. Sucht das System hybrid, findet die Vektorsuche Chunk 5 und die Stichwortsuche Chunk 4: Die Trefferliste enthält denselben Inhalt doppelt und verdrängt Platz für einen anderen, möglicherweise relevanten Fund.

So prüft man es: Zuerst die Trefferliste vor dem Weitergeben an das Modell ansehen und auf gleiche Chunk-Nummern oder gleiche Quelle und Abschnitt in den Metadaten prüfen. Deduplizierung heißt dann, mehrfach vorkommende Funde nur einmal zu übernehmen.

Mehrfach gefundene Texte sind kein mehrfach bestätigtes Fakt, sondern mehrfach derselbe Inhalt. Deduplizieren vor dem Prompt, sonst bezahlt man Kontextfenster für Wiederholungen.

📌 Chunks mit Überlappung · Hybrides Retrieval · Deduplizierung

📚 KI von Grund auf · Tag 22 von 30
#rag #llm #machinelearning