Die meisten Computer können Text nicht vergleichen. Dabei genügt eine Zahlenreihe, um Bedeutung messbar zu machen.

Wer heute mit Suchsystemen oder Frage-Antwort-KI arbeitet, trifft sofort auf Embeddings. Wer sie nicht kennt, versteht nicht, warum eine Anfrage ohne gemeinsames Wort dennoch den richtigen Abschnitt findet.

Ein Embedding ist die Übersetzung eines Textes in einen Vektor, also eine geordnete Zahlenreihe fester Länge. Erzeugt wird sie von einem Embedding-Modell, einem trainierten neuronalen Netz, das für jeden Text dieselbe Anzahl Zahlen ausgibt. Der Text wird damit zu einem einzigen Punkt in einem Raum mit vielen Dimensionen. Die einzelnen Werte sind für Menschen nicht lesbar, wohl aber ihre Abstände.

Ein Mitarbeiter fragt „Wie viele Urlaubstage habe ich bei Teilzeit?“ – die Vektorsuche findet den passenden Abschnitt der Personalrichtlinie, und das Modell antwortet mit deren Inhalt statt zu raten. Gängige Modelle arbeiten mit einigen Hundert bis über Tausend Zahlen pro Text. Gemessen wird meist mit der Kosinus-Ähnlichkeit, also wie stark zwei Vektoren in dieselbe Richtung zeigen. So funktioniert RAG, das Einbinden gefundener Textstücke in den Prompt: Dokumente werden einmalig zerlegt, als Embeddings in einer Vektordatenbank gespeichert und bei Anfragen nach Nähe durchsucht.

Verwechselt wird der Begriff oft mit Stichwortsuche. Embeddings erfassen Bedeutung, aber keine exakten Bezeichner; Artikelnummern oder Namen findet eine Stichwortsuche wie BM25 oft zuverlässiger. Zudem müssen Anfrage und Dokumente mit demselben Modell eingebettet werden, sonst stimmen die Abstände nicht.

Ein Embedding ist also keine Beschreibung des Inhalts, sondern ein Punkt, dessen Nähe Bedeutung sichtbar macht.

📌 Vektor · Kosinus-Ähnlichkeit · Vektordatenbank

📚 KI von Grund auf · Tag 4 von 30
#Embeddings #rag #machinelearning