Die meisten suchen später in ihren Dokumenten nach Sätzen, nicht nach Dateien. Dabei wird entschieden, was auffindbar ist, lange bevor ein Modell rechnet.

Denn bevor ein Sprachmodell ein Dokument lesen kann, muss es in Stücke zerlegt werden. Diese Zerlegung bestimmt, welcher Textabschnitt bei einer Frage überhaupt gefunden wird.

🧠 Ein Chunk ist ein zusammenhängender Textabschnitt, der als eigenständige Einheit durchsucht und gelesen wird. Embeddings, also Zahlenvektoren, die die Bedeutung eines Texts zusammenfassen, und das Kontextfenster, der Leseraum eines Modells, sind beide begrenzt. Ein Chunk muss deshalb klein genug für beides sein.

📊 Ein Chunk ist ein Kompromiss zwischen Auffindbarkeit und Vollständigkeit. Zu kleine Stücke verlieren den Zusammenhang, zu große mischen mehrere Themen und verwässern den Vergleich zwischen Frage und Text. Die passende Größe hängt von Dokumentart und Fragetyp ab und wird nicht geraten, sondern mit Testfragen gemessen.

🔍 Eine Überlappung zwischen benachbarten Chunks verhindert zerrissene Aussagen an den Grenzen. Metadaten wie Datum, Quelle oder Abschnitt gehören zu jedem Chunk, damit Treffer gefiltert und als Beleg genannt werden können. Ein Beispiel: Bei der Frage nach Urlaubstagen bei Teilzeit genügt der passende Abschnitt der Personalrichtlinie als Grundlage.

Chunking heißt nicht, ein Dokument technisch zu zerhacken, sondern es in semantisch geschlossene Einheiten zu gliedern. Wer die falschen Textstücke findet, kann mit dem besten Modell keine richtige Antwort geben.

📌 Chunkgröße · Überlappung · Metadaten

📚 KI von Grund auf · Tag 5 von 30
#rag #Embeddings #llm #ki