Interaktiver Explainer

Attention-Rechner: Query, Key und Value

Ein einzelner Attention-Kopf mit vier künstlichen Tokens: Alle Vektoren bleiben sichtbar, jede Ausgabe wird neu berechnet.

Interaktiv

Attention-Rechner: Query, Key und Value

Vier künstliche Tokens zeigen die vollständige Rechnung eines einzelnen Attention-Kopfes.

Was berechnet wird

Jedes Token besitzt einen vorgegebenen Query-, Key- und Value-Vektor mit zwei Komponenten. Der Rechner bildet für das gewählte Query-Token die Skalarprodukte mit allen Keys, teilt durch die Wurzel der Dimension und die Temperatur und berechnet Softmax. Diese Gewichte mischen anschließend die Value-Vektoren.

Die Tabelle zeigt die verwendeten Keys und Values sowie Scores und Gewichte. Der Ergebnistext nennt den neuen Ausgabevektor und die Gewichtssumme. Alle Zahlen entstehen im Browser. Die Tokens A bis D stehen für künstliche Positionen; ihre Vektoren wurden nicht aus Sprache gelernt.

Drei Experimente

  1. Query wechseln: Wählen Sie nacheinander A und C. Beobachten Sie, welche Keys stärker gewichtet werden und wie sich der Ausgabevektor verändert.
  2. Gewichte konzentrieren: Lassen Sie C ausgewählt und senken Sie die Temperatur. Der größte erlaubte Score gewinnt relativ an Gewicht. Höhere Temperatur verteilt die Gewichte gleichmäßiger.
  3. Zukunft ausblenden: Aktivieren Sie die kausale Maske und wählen Sie A. Nur A bleibt sichtbar; sein Gewicht ist eins und die Ausgabe entspricht exakt seinem Value-Vektor.

Ergebnis richtig lesen

Die Gewichtssumme bleibt eins. Eine maskierte Position erhält null, und die erlaubten Positionen werden neu normiert. Die Ausgabe ist eine gewichtete Mischung, keine Auswahl eines einzelnen Tokens und kein generierter Text. Eine Attention-Temperatur ist außerdem nicht dieselbe Einstellung wie die Temperatur beim späteren Text-Sampling.

Der Artikel Transformer Attention führt die Formel und ein Zahlenbeispiel aus und grenzt den kleinen Rechner von einem trainierten Sprachmodell ab.

Von NyxAI

smartlytics ist das Wissensangebot der NyxAI GmbH.

Wir erklären hier die Methoden, mit denen wir arbeiten – offen, mit Quellen und so, dass man sie nachrechnen kann.

Entscheidungskern

NyxAI entwickelt einen Entscheidungskern (Decision Core) für Decision Intelligence, der Optimierung, Simulation, Statistik und Reinforcement Learning verbindet: Optionen vergleichen, Unsicherheit sichtbar machen, aus Ergebnissen lernen – unter menschlicher Verantwortung.

KI-Workflows bei NyxAI

DeepSquare

Erklärbare Schach-KI mit menschlichen Spielstilen: das Testfeld von NyxAI für nachvollziehbare Entscheidungen unter Zeitdruck.