Die meisten suchen später in ihren Dokumenten nach Sätzen, nicht nach Dateien. Dabei wird entschieden, was auffindbar ist, lange bevor ein Modell rechnet.

Denn bevor ein Sprachmodell ein Dokument lesen kann, muss es in Stücke zerlegt werden. Diese Zerlegung bestimmt, welcher Textabschnitt bei einer Frage überhaupt gefunden wird.

🧠 Ein Chunk ist ein zusammenhängender Textabschnitt, der als eigenständige Einheit durchsucht und gelesen wird. Embeddings, also Zahlenvektoren, die die Bedeutung eines Texts zusammenfassen, und das Kontextfenster, der Leseraum eines Modells, sind beide begrenzt. Ein Chunk muss deshalb klein genug für beides sein.

📊 Ein Chunk ist ein Kompromiss zwischen Auffindbarkeit und Vollständigkeit. Zu kleine Stücke verlieren den Zusammenhang, zu große mischen mehrere Themen und verwässern den Vergleich zwischen Frage und Text. Die passende Größe hängt von Dokumentart und Fragetyp ab und wird nicht geraten, sondern mit Testfragen gemessen.

🔍 Eine Überlappung zwischen benachbarten Chunks verhindert zerrissene Aussagen an den Grenzen. Metadaten wie Datum, Quelle oder Abschnitt gehören zu jedem Chunk, damit Treffer gefiltert und als Beleg genannt werden können. Ein Beispiel: Bei der Frage nach Urlaubstagen bei Teilzeit genügt der passende Abschnitt der Personalrichtlinie als Grundlage.

Chunking heißt nicht, ein Dokument technisch zu zerhacken, sondern es in semantisch geschlossene Einheiten zu gliedern. Wer die falschen Textstücke findet, kann mit dem besten Modell keine richtige Antwort geben.

📌 Chunkgröße · Überlappung · Metadaten

📚 KI von Grund auf · Tag 5 von 30
#rag #Embeddings #llm #ki

Die meisten Computer können Text nicht vergleichen. Dabei genügt eine Zahlenreihe, um Bedeutung messbar zu machen.

Wer heute mit Suchsystemen oder Frage-Antwort-KI arbeitet, trifft sofort auf Embeddings. Wer sie nicht kennt, versteht nicht, warum eine Anfrage ohne gemeinsames Wort dennoch den richtigen Abschnitt findet.

Ein Embedding ist die Übersetzung eines Textes in einen Vektor, also eine geordnete Zahlenreihe fester Länge. Erzeugt wird sie von einem Embedding-Modell, einem trainierten neuronalen Netz, das für jeden Text dieselbe Anzahl Zahlen ausgibt. Der Text wird damit zu einem einzigen Punkt in einem Raum mit vielen Dimensionen. Die einzelnen Werte sind für Menschen nicht lesbar, wohl aber ihre Abstände.

Ein Mitarbeiter fragt „Wie viele Urlaubstage habe ich bei Teilzeit?“ – die Vektorsuche findet den passenden Abschnitt der Personalrichtlinie, und das Modell antwortet mit deren Inhalt statt zu raten. Gängige Modelle arbeiten mit einigen Hundert bis über Tausend Zahlen pro Text. Gemessen wird meist mit der Kosinus-Ähnlichkeit, also wie stark zwei Vektoren in dieselbe Richtung zeigen. So funktioniert RAG, das Einbinden gefundener Textstücke in den Prompt: Dokumente werden einmalig zerlegt, als Embeddings in einer Vektordatenbank gespeichert und bei Anfragen nach Nähe durchsucht.

Verwechselt wird der Begriff oft mit Stichwortsuche. Embeddings erfassen Bedeutung, aber keine exakten Bezeichner; Artikelnummern oder Namen findet eine Stichwortsuche wie BM25 oft zuverlässiger. Zudem müssen Anfrage und Dokumente mit demselben Modell eingebettet werden, sonst stimmen die Abstände nicht.

Ein Embedding ist also keine Beschreibung des Inhalts, sondern ein Punkt, dessen Nähe Bedeutung sichtbar macht.

📌 Vektor · Kosinus-Ähnlichkeit · Vektordatenbank

📚 KI von Grund auf · Tag 4 von 30
#Embeddings #rag #machinelearning

Wie findet ein System die richtige Textstelle, ohne Wörter zu verstehen? Dabei rechnet es nur mit Zahlen und Winkeln.

Vektor und Embedding werden oft verwechselt, weil beide Zahlenvektoren sind. Der Unterschied liegt darin, was die Zahlen bedeuten: bloße Position oder geprüfte Richtung.

Ein Vektor ist eine geordnete Liste von Zahlen, etwa drei Werte für einen Punkt im Raum. Für sich genommen sagt er nichts über Bedeutung aus. In PyTorch ist ein solcher Vektor ein Tensor (ein mehrdimensionales Zahlenfeld) mit einer Dimension.

Ein Embedding dagegen ist ein Vektor, der die Bedeutung eines Wortes als Zahlenpunkt darstellt. Es entsteht, indem ein Modell auf großen Textmengen trainiert wird und Wörtern mit ähnlichen Kontexten ähnliche Vektoren gibt. „Hund“ und „Katze“ liegen nahe beieinander, weil beide neben Haustier, fressen, spazieren auftauchen.

Wie nah zwei Embeddings sind, misst die Kosinus-Ähnlichkeit: der Winkel zwischen zwei Vektoren, unabhängig von ihrer Länge. Der Wert 1,0 heißt gleiche Richtung, 0,0 senkrechte Vektoren ohne gemeinsame Bedeutung, −1,0 entgegengesetzte Richtung. „Hund“ und „Katze“ zeigen fast in dieselbe Richtung; „Hund“ und „Rechnung“ (Kontexte: bezahlen, Betrag, Mahnung) zeigen in deutlich andere Richtungen.

Die Kosinus-Ähnlichkeit ist das Maß, das den Abstand dieser Bedeutungen in eine einzige Zahl übersetzt.

Faustregel: Sobald nach inhaltlicher Nähe gefragt ist – etwa bei einer Suche –, nutzt man Embeddings plus Kosinus-Ähnlichkeit statt einfachem Zahlenvergleich. Genau so findet ein RAG-System passende Stellen: Die Anfrage wird zum Vektor, und per Kosinus-Ähnlichkeit wandern die treffendsten Texte als Kontext zum Sprachmodell.

Der Vektor ist also der Behälter, das Embedding die Bedeutung darin – und der Kosinus sagt, wie nah zwei Bedeutungen einander kommen.

📌 Vektor · Embedding · Kosinus-Ähnlichkeit

📚 KI von Grund auf · Tag 4 von 30
#Embeddings #rag #machinelearning

Ein Sprachmodell antwortet wie ein kluger Mensch ohne Zugang zum Archiv. Es kann flüssig formulieren, aber zu internen Handbüchern oder aktuellen Regeln hat es keinen Zugang.

RAG funktioniert wie eine Prüfung mit offenem Buch. Die Frage kommt, und zuerst wird in den Unterlagen geblättert. Die passende Seite wird auf den Tisch gelegt, daneben die Frage. Erst dann wird die Antwort formuliert – auf Basis dessen, was vor dem Prüfling liegt.

Die Dokumente werden vorher einmalig in Chunks zerlegt, also kurze Textstücke, weil Modelle begrenzte Kontextfenster haben. Ein Embedding-Modell übersetzt jedes Chunk in einen Vektor, eine Zahlenreihe, die Bedeutung codiert; ähnliche Texte liegen dort nahe beieinander. Bei einer Anfrage wird deren Vektor berechnet, über die Kosinus-Ähnlichkeit die ähnlichsten Chunks gesucht und gemeinsam mit der Frage in den Prompt eingefügt.

Ein Beispiel: Ein Mitarbeiter fragt „Wie viele Urlaubstage habe ich bei Teilzeit?“. Die Vektorsuche findet den passenden Abschnitt der Personalrichtlinie, und das Modell antwortet mit deren Inhalt statt zu raten. Wichtig ist: Anfrage und Dokumente müssen mit demselben Embedding-Modell eingebettet werden.

Das Bild hat eine Grenze: Beim offenen Buch sieht der Prüfling sofort, ob die Seite fehlt. Ein Sprachmodell halluziniert lieber – es erzeugt plausible, aber falsche Antworten, wenn das Retrieval nichts Passendes liefert. Dann hilft auch das beste Modell nicht; die Ursache liegt bei den Textstellen, nicht beim Formulieren.

RAG schult das Modell also nicht um, sondern legt ihm passendes Wissen auf den Tisch.

📌 Chunks · Embedding · Vektorsuche

📚 KI von Grund auf · Tag 4 von 30
#rag #llm #Embeddings #ki

Qdrant als Vector Database für semantische Suche eingesetzt. Vorher: Keyword-Suche mit Elasticsearch, User fanden 40% der relevanten Dokumente nicht. Nachher: Semantische Suche mit Sentence-Transformers Embeddings, Recall auf 92% gestiegen.

Der Aha-Moment: Ein User suchte nach 'Serverausfall beheben' und fand einen Artikel der 'Infrastructure Recovery nach Downtime' hieß. Das hätte Keyword-Suche nie gefunden. #vectordb #semanticsuche #qdrant