Sprachmodelle & Wissen

Transformer Attention mit Zahlen verstehen

Attention verbindet Informationen aus mehreren Positionen einer Sequenz. Vier künstliche Tokens reichen aus, um die Rechnung sichtbar zu machen: Scores berechnen, normieren, Werte mischen.

  • 3 Min. Lesezeit
  • Aktualisiert am
  • Redaktion smartlytics

Kurz erklärt

Scaled Dot-Product Attention berechnet Scores aus Query und Keys, skaliert sie und verwandelt sie mit Softmax in Gewichte. Die Ausgabe ist die gewichtete Summe der Value-Vektoren. Eine kausale Maske schließt spätere Positionen aus.

Simulation öffnenKostenlos · im Browser · ohne Anmeldung

Auf einen Blick

  1. Query und Keys bestimmen die Gewichte; Values liefern die gemischten Inhalte.
  2. Softmax erzeugt nichtnegative Gewichte mit Summe eins, aber keine Wahrheitswahrscheinlichkeiten.
  3. Eine kausale Maske verhindert den Zugriff auf spätere Positionen; sie ist unabhängig von der Temperatur.

Welche Information passt zur aktuellen Position?

Eine Sequenz enthält mehrere Positionen, deren Informationen für die nächste Verarbeitung unterschiedlich relevant sein können. Attention berechnet, wie stark eine Position die Inhalte anderer Positionen einbezieht. Dafür erhält die abfragende Position einen Query-Vektor. Jede verfügbare Position stellt einen Key zum Vergleich und einen Value als Inhalt bereit.

Attention wurde bereits vor dem Transformer für neuronale Übersetzung eingesetzt (Bahdanau et al. 2015). Der Transformer nutzt mehrere Attention-Köpfe zusammen mit weiteren Verarbeitungsschritten (Vaswani et al. 2017). Unser Beispiel isoliert genau einen Kopf. Es verwendet die künstlichen Tokens A, B, C und D. Die Buchstaben bezeichnen Positionen und tragen hier keine gelernte sprachliche Bedeutung. Dadurch bleibt die Rechnung vollständig nachvollziehbar.

Query, Key und Value rechnen zusammen

Für eine Query qq und einen Key kik_i entsteht zunächst das Skalarprodukt. Bei Key-Dimension dkd_k werden die Scores durch dk\sqrt{d_k} geteilt. Unsere zusätzliche, einstellbare Temperatur τ>0\tau>0 verändert die Konzentration der Gewichte:

zi=q⋅kidk τ,wi=exp⁡(zi)∑jexp⁡(zj),o=∑iwivi.z_i=\frac{q\cdot k_i}{\sqrt{d_k}\,\tau},\qquad w_i=\frac{\exp(z_i)}{\sum_j\exp(z_j)},\qquad o=\sum_i w_i v_i.

Softmax macht aus den Scores nichtnegative Gewichte mit Summe eins. Für die numerische Berechnung ziehen wir vor dem Exponenzieren den größten Score ab. Das ändert die Gewichte nicht und verhindert unnötig große Zwischenwerte.

Die Rollen sind getrennt: Keys bestimmen zusammen mit der Query, wie viel Gewicht eine Position bekommt. Values bestimmen, was diese Position zum Ausgabevektor beiträgt. Ein hoher Score sagt daher noch nicht, welcher Zahlenwert am Ende in einer bestimmten Ausgabekomponente steht. Dafür braucht man auch die Values.

Ein Zahlenbeispiel mit vier Tokens

Wählen wir Token C, lautet seine Query qC=(1,1)q_C=(1, 1). Die Keys sind kA=(1,0)k_A=(1, 0), kB=(0,1)k_B=(0, 1), kC=(1,1)k_C=(1, 1) und kD=(−1,0)k_D=(-1, 0). Ihre Skalarprodukte mit der Query sind 1,1,2,−11, 1, 2,-1. Bei Temperatur eins und Dimension zwei ergeben sich ungefähr die Scores 0,7070{,}707, 0,7070{,}707, 1,4141{,}414 und −0,707-0{,}707.

Die zugehörigen Gewichte sind gerundet 0,2340{,}234, 0,2340{,}234, 0,4750{,}475 und 0,0570{,}057. Das dritte Token erhält das größte Gewicht, aber die übrigen Values bleiben beteiligt. Mit vA=(1,0)v_A=(1, 0), vB=(0,2)v_B=(0, 2), vC=(2,1)v_C=(2, 1) und vD=(−1,1)v_D=(-1, 1) entsteht ungefähr o=(1,127,1,000)o=(1{,}127, 1{,}000). Die Anzeige berechnet die Werte ohne diese Zwischenrundung.

Besonders einfach wird die Rechnung bei Token A mit kausaler Maske. Nur die erste Position ist erlaubt. Ihr Gewicht beträgt exakt eins, alle anderen Gewichte sind null. Die Ausgabe ist deshalb genau vA=(1,0)v_A=(1, 0), unabhängig von der positiven Temperatur.

Temperatur und Maske verändern

Interaktiv

Attention-Rechner: Query, Key und Value

Der Rechner berechnet Scores, Softmax-Gewichte und Ausgabevektor eines künstlichen Attention-Kopfes.

Eine niedrigere Temperatur verstärkt Unterschiede zwischen erlaubten Scores. Eine höhere Temperatur verteilt das Gewicht gleichmäßiger. Sie verändert jedoch nicht, welche Positionen grundsätzlich sichtbar sind. Eine kausale Maske setzt die Scores späterer Positionen rechnerisch auf minus unendlich; nach Softmax erhalten diese Positionen Gewicht null.

Wählen Sie zuerst C, variieren Sie die Temperatur und schalten Sie anschließend die Maske ein. D fällt dann vollständig weg. Die Gewichte der verbleibenden Positionen werden erneut normiert. Diese Umverteilung ist wichtig: Maskierung löscht nicht nur einen Beitrag aus einer fertigen Summe, sondern verändert auch die übrigen Gewichte.

Was diese Darstellung nicht erklärt

Die Vektoren sind von Hand gewählt. Ein trainierter Transformer berechnet Q, K und V dagegen mit gelernten Transformationen aus seinen aktuellen Darstellungen. Unser Beispiel enthält keine Positionskodierung, kein Training, keine mehreren Köpfe, keine Restverbindungen und keine Ausgabeverteilung über ein Vokabular.

Attention-Gewichte sind außerdem keine Wahrscheinlichkeiten für wahre Aussagen und keine vollständige Erklärung einer Modellentscheidung. Sie beschreiben die Mischung innerhalb eines einzelnen Rechenschritts. Die hier veränderte Attention-Temperatur ist auch von der Temperatur zu unterscheiden, mit der ein Sprachmodell später Ausgabetokens auswählt. Beide verwenden ähnliche mathematische Operationen, wirken aber auf unterschiedliche Größen.

Von Darstellung zu belegbarem Wissen

Attention kann Informationen in einem gegebenen Kontext kombinieren. Ob dieser Kontext aktuelle und passende Informationen enthält, ist eine andere Frage. Retrieval-Augmented Generation erklärt deshalb die vorgelagerte Suche nach Quellen und die Prüfung ihrer Gültigkeit. Regeln und Optimierung zeigt anschließend, warum eine flüssige Beschreibung noch keinen zulässigen Plan beweist.

Häufige Fragen

Zeigen Attention-Gewichte die vollständige Erklärung einer Modellantwort?

Nein. Sie beschreiben einen einzelnen Rechenschritt. Mehrere Köpfe, Schichten, Restverbindungen und weitere Transformationen beeinflussen das Ergebnis ebenfalls.

Ist die Temperatur hier dieselbe wie beim Generieren von Text?

Nein. Hier skaliert sie die Attention-Scores eines Kopfes. Eine Temperatur beim Sampling von Ausgabetokens wirkt an einer anderen Stelle des Modells.

Sind die Vektoren in der Demo trainiert?

Nein. Alle Q-, K- und V-Vektoren sind absichtlich von Hand gewählt. Die Demo zeigt echte Matrixrechnung, aber kein trainiertes Sprachmodell.

Quellen und weiterführende Literatur

  1. PaperVaswani, A. et al. (2017): Attention Is All You Need. NeurIPS 2017.
  2. PaperBahdanau, D., Cho, K. and Bengio, Y. (2015): Neural Machine Translation by Jointly Learning to Align and Translate. ICLR 2015.

Zuletzt fachlich geprüft am 14. November 2026. Hinweise auf Fehler nehmen wir gern entgegen: impressum@nyxai.com.

Von NyxAI

smartlytics ist das Wissensangebot der NyxAI GmbH.

Wir erklären hier die Methoden, mit denen wir arbeiten – offen, mit Quellen und so, dass man sie nachrechnen kann.

Entscheidungskern

NyxAI entwickelt einen Entscheidungskern (Decision Core) für Decision Intelligence, der Optimierung, Simulation, Statistik und Reinforcement Learning verbindet: Optionen vergleichen, Unsicherheit sichtbar machen, aus Ergebnissen lernen – unter menschlicher Verantwortung.

DeepSquare

Erklärbare Schach-KI mit menschlichen Spielstilen: das Testfeld von NyxAI für nachvollziehbare Entscheidungen unter Zeitdruck.