Die meisten denken, ein Sprachmodell verstehe Wörter nacheinander, wie ein Mensch beim Lesen. Dabei sieht es in Self-Attention alle Wörter eines Satzes gleichzeitig und entscheidet bei jedem, welche anderen ihm gerade wichtig sind.

Deshalb zählt sie: Self-Attention ist der Kernbaustein des Transformer, des Modellaufbaus hinter heutigen Sprachmodellen. Wer sie versteht, versteht, warum Modelle Bezüge über ganze Sätze hinweg herstellen können.

🧠 Jedes Token fragt alle anderen um Gewicht. Ein Token ist je nach Tokenizer ein Wort, ein Wortteil oder ein Zeichen. Bei der Verarbeitung rechnet jedes Token aus, wie stark es jedes andere Token seiner Umgebung berücksichtigen soll. Das Ergebnis ist eine Zahl zwischen 0 und 1, und alle Gewichte ergeben zusammen 1.

📊 Hohe Gewichte fließen stärker ein als niedrige. Ein Token mit hohem Gewicht geht stärker in die weitere Verarbeitung des betrachteten Tokens ein als eines mit niedrigem. Im Satz „Anna erzählt Lena, weil sie gut zuhört“ muss „sie“ stark auf „Lena“ achten und nicht auf „Anna“ – der Satzbau entscheidet mit, nicht allein die Wortähnlichkeit.

🔍 Attention reicht bis an den Rand des Kontextfensters. Das Kontextfenster ist die maximale Anzahl Tokens, die ein Modell in einem Durchgang berücksichtigen kann. Innerhalb dessen verbindet Attention auch weit auseinanderliegende Wörter direkt. Der Preis: Der Rechenaufwand wächst quadratisch mit der Sequenzlänge.

Self-Attention heißt nicht Bedeutungsähnlichkeit messen, sondern ausrechnen, welche Tokens für die Verarbeitung eines Tokens im gegebenen Kontext nützlich sind. Wer das verwechselt, übersieht die Rolle von Stellung und Satzbau.

📌 Self-Attention · Gewichte · Kontextfenster

📚 KI von Grund auf · Tag 4 von 30
#machinelearning #llm #Transformers #ki