Interaktiver Explainer
Attention-Rechner: Query, Key und Value
Ein einzelner Attention-Kopf mit vier künstlichen Tokens: Alle Vektoren bleiben sichtbar, jede Ausgabe wird neu berechnet.
Attention-Rechner: Query, Key und Value
Vier künstliche Tokens zeigen die vollständige Rechnung eines einzelnen Attention-Kopfes.
Was berechnet wird
Jedes Token besitzt einen vorgegebenen Query-, Key- und Value-Vektor mit zwei Komponenten. Der Rechner bildet für das gewählte Query-Token die Skalarprodukte mit allen Keys, teilt durch die Wurzel der Dimension und die Temperatur und berechnet Softmax. Diese Gewichte mischen anschließend die Value-Vektoren.
Die Tabelle zeigt die verwendeten Keys und Values sowie Scores und Gewichte. Der Ergebnistext nennt den neuen Ausgabevektor und die Gewichtssumme. Alle Zahlen entstehen im Browser. Die Tokens A bis D stehen für künstliche Positionen; ihre Vektoren wurden nicht aus Sprache gelernt.
Drei Experimente
- Query wechseln: Wählen Sie nacheinander A und C. Beobachten Sie, welche Keys stärker gewichtet werden und wie sich der Ausgabevektor verändert.
- Gewichte konzentrieren: Lassen Sie C ausgewählt und senken Sie die Temperatur. Der größte erlaubte Score gewinnt relativ an Gewicht. Höhere Temperatur verteilt die Gewichte gleichmäßiger.
- Zukunft ausblenden: Aktivieren Sie die kausale Maske und wählen Sie A. Nur A bleibt sichtbar; sein Gewicht ist eins und die Ausgabe entspricht exakt seinem Value-Vektor.
Ergebnis richtig lesen
Die Gewichtssumme bleibt eins. Eine maskierte Position erhält null, und die erlaubten Positionen werden neu normiert. Die Ausgabe ist eine gewichtete Mischung, keine Auswahl eines einzelnen Tokens und kein generierter Text. Eine Attention-Temperatur ist außerdem nicht dieselbe Einstellung wie die Temperatur beim späteren Text-Sampling.
Der Artikel Transformer Attention führt die Formel und ein Zahlenbeispiel aus und grenzt den kleinen Rechner von einem trainierten Sprachmodell ab.