Sprachmodelle & Wissen
Transformer Attention mit Zahlen verstehen
Attention verbindet Informationen aus mehreren Positionen einer Sequenz. Vier künstliche Tokens reichen aus, um die Rechnung sichtbar zu machen: Scores berechnen, normieren, Werte mischen.
Kurz erklärt
Scaled Dot-Product Attention berechnet Scores aus Query und Keys, skaliert sie und verwandelt sie mit Softmax in Gewichte. Die Ausgabe ist die gewichtete Summe der Value-Vektoren. Eine kausale Maske schließt spätere Positionen aus.
Simulation öffnenKostenlos · im Browser · ohne Anmeldung
Auf einen Blick
- Query und Keys bestimmen die Gewichte; Values liefern die gemischten Inhalte.
- Softmax erzeugt nichtnegative Gewichte mit Summe eins, aber keine Wahrheitswahrscheinlichkeiten.
- Eine kausale Maske verhindert den Zugriff auf spätere Positionen; sie ist unabhängig von der Temperatur.
Welche Information passt zur aktuellen Position?
Eine Sequenz enthält mehrere Positionen, deren Informationen für die nächste Verarbeitung unterschiedlich relevant sein können. Attention berechnet, wie stark eine Position die Inhalte anderer Positionen einbezieht. Dafür erhält die abfragende Position einen Query-Vektor. Jede verfügbare Position stellt einen Key zum Vergleich und einen Value als Inhalt bereit.
Attention wurde bereits vor dem Transformer für neuronale Übersetzung eingesetzt (Bahdanau et al. 2015). Der Transformer nutzt mehrere Attention-Köpfe zusammen mit weiteren Verarbeitungsschritten (Vaswani et al. 2017). Unser Beispiel isoliert genau einen Kopf. Es verwendet die künstlichen Tokens A, B, C und D. Die Buchstaben bezeichnen Positionen und tragen hier keine gelernte sprachliche Bedeutung. Dadurch bleibt die Rechnung vollständig nachvollziehbar.
Query, Key und Value rechnen zusammen
Für eine Query und einen Key entsteht zunächst das Skalarprodukt. Bei Key-Dimension werden die Scores durch geteilt. Unsere zusätzliche, einstellbare Temperatur verändert die Konzentration der Gewichte:
Softmax macht aus den Scores nichtnegative Gewichte mit Summe eins. Für die numerische Berechnung ziehen wir vor dem Exponenzieren den größten Score ab. Das ändert die Gewichte nicht und verhindert unnötig große Zwischenwerte.
Die Rollen sind getrennt: Keys bestimmen zusammen mit der Query, wie viel Gewicht eine Position bekommt. Values bestimmen, was diese Position zum Ausgabevektor beiträgt. Ein hoher Score sagt daher noch nicht, welcher Zahlenwert am Ende in einer bestimmten Ausgabekomponente steht. Dafür braucht man auch die Values.
Ein Zahlenbeispiel mit vier Tokens
Wählen wir Token C, lautet seine Query . Die Keys sind , , und . Ihre Skalarprodukte mit der Query sind . Bei Temperatur eins und Dimension zwei ergeben sich ungefähr die Scores , , und .
Die zugehörigen Gewichte sind gerundet , , und . Das dritte Token erhält das größte Gewicht, aber die übrigen Values bleiben beteiligt. Mit , , und entsteht ungefähr . Die Anzeige berechnet die Werte ohne diese Zwischenrundung.
Besonders einfach wird die Rechnung bei Token A mit kausaler Maske. Nur die erste Position ist erlaubt. Ihr Gewicht beträgt exakt eins, alle anderen Gewichte sind null. Die Ausgabe ist deshalb genau , unabhängig von der positiven Temperatur.
Temperatur und Maske verändern
Attention-Rechner: Query, Key und Value
Der Rechner berechnet Scores, Softmax-Gewichte und Ausgabevektor eines künstlichen Attention-Kopfes.
Eine niedrigere Temperatur verstärkt Unterschiede zwischen erlaubten Scores. Eine höhere Temperatur verteilt das Gewicht gleichmäßiger. Sie verändert jedoch nicht, welche Positionen grundsätzlich sichtbar sind. Eine kausale Maske setzt die Scores späterer Positionen rechnerisch auf minus unendlich; nach Softmax erhalten diese Positionen Gewicht null.
Wählen Sie zuerst C, variieren Sie die Temperatur und schalten Sie anschließend die Maske ein. D fällt dann vollständig weg. Die Gewichte der verbleibenden Positionen werden erneut normiert. Diese Umverteilung ist wichtig: Maskierung löscht nicht nur einen Beitrag aus einer fertigen Summe, sondern verändert auch die übrigen Gewichte.
Was diese Darstellung nicht erklärt
Die Vektoren sind von Hand gewählt. Ein trainierter Transformer berechnet Q, K und V dagegen mit gelernten Transformationen aus seinen aktuellen Darstellungen. Unser Beispiel enthält keine Positionskodierung, kein Training, keine mehreren Köpfe, keine Restverbindungen und keine Ausgabeverteilung über ein Vokabular.
Attention-Gewichte sind außerdem keine Wahrscheinlichkeiten für wahre Aussagen und keine vollständige Erklärung einer Modellentscheidung. Sie beschreiben die Mischung innerhalb eines einzelnen Rechenschritts. Die hier veränderte Attention-Temperatur ist auch von der Temperatur zu unterscheiden, mit der ein Sprachmodell später Ausgabetokens auswählt. Beide verwenden ähnliche mathematische Operationen, wirken aber auf unterschiedliche Größen.
Von Darstellung zu belegbarem Wissen
Attention kann Informationen in einem gegebenen Kontext kombinieren. Ob dieser Kontext aktuelle und passende Informationen enthält, ist eine andere Frage. Retrieval-Augmented Generation erklärt deshalb die vorgelagerte Suche nach Quellen und die Prüfung ihrer Gültigkeit. Regeln und Optimierung zeigt anschließend, warum eine flüssige Beschreibung noch keinen zulässigen Plan beweist.
Häufige Fragen
Zeigen Attention-Gewichte die vollständige Erklärung einer Modellantwort?
Nein. Sie beschreiben einen einzelnen Rechenschritt. Mehrere Köpfe, Schichten, Restverbindungen und weitere Transformationen beeinflussen das Ergebnis ebenfalls.
Ist die Temperatur hier dieselbe wie beim Generieren von Text?
Nein. Hier skaliert sie die Attention-Scores eines Kopfes. Eine Temperatur beim Sampling von Ausgabetokens wirkt an einer anderen Stelle des Modells.
Sind die Vektoren in der Demo trainiert?
Nein. Alle Q-, K- und V-Vektoren sind absichtlich von Hand gewählt. Die Demo zeigt echte Matrixrechnung, aber kein trainiertes Sprachmodell.
Quellen und weiterführende Literatur
- PaperVaswani, A. et al. (2017): Attention Is All You Need. NeurIPS 2017.
- PaperBahdanau, D., Cho, K. and Bengio, Y. (2015): Neural Machine Translation by Jointly Learning to Align and Translate. ICLR 2015.
Zuletzt fachlich geprüft am 14. November 2026. Hinweise auf Fehler nehmen wir gern entgegen: impressum@nyxai.com.