Interaktiver Explainer
Kontextuelle Bandits interaktiv vergleichen
Zwei Situationen bevorzugen unterschiedliche Aktionen. Beobachten Sie, was eine globale Strategie übersieht und wie getrennte Posterioren lernen.
Kontextuelle Bandits interaktiv vergleichen
Die Simulation berechnet Thompson Sampling mit zwei getrennten Kontextmodellen und mit einem gemeinsamen Modell.
Was berechnet wird
Zwei Situationen bevorzugen unterschiedliche Aktionen. In Kontext 1 gewinnt A mit Wahrscheinlichkeit 80 %, B mit 20 %. Kontext 2 kehrt diese Werte um. Beide Strategien starten mit gleichverteilten Beta-Priors. Die kontextabhängige Variante aktualisiert nur das Modell der beobachteten Situation; die globale Variante fasst alle Beobachtungen zusammen.
Die Linien zeigen Regret, also den erwarteten Verlust gegenüber einer Strategie, die die jeweils beste Aktion bereits kennt. Die Tabelle zählt tatsächlich gewählte Aktionen. Erfolge sind zufällige Ergebnisse und deshalb nicht mit Regret gleichzusetzen. Beide Strategien erhalten dieselben potenziellen Ergebnisse je Runde und Aktion, soweit sie dieselbe Aktion wählen. Ihr eigener Zufall für die Auswahl bleibt getrennt.
Drei Experimente
- Gleiche Häufigkeit: Lassen Sie den Kontextanteil auf 50 % und erhöhen Sie die Zahl der Entscheidungen. Beobachten Sie, wie sich A und B je Kontext verteilen.
- Seltene Situation: Stellen Sie Kontext 1 auf 90 %. Vergleichen Sie die Zahl der Beobachtungen für den zweiten Kontext mit dem Gesamtumfang.
- Neue Umgebung: Aktivieren Sie den Wechsel zur Halbzeit. Beide Ratenpaare tauschen ihre Werte; die Modelle behalten ihre bisherigen Erfahrungen.
Ergebnis richtig lesen
Der feste Zufallsstart 42 macht jede Einstellung reproduzierbar. Ein einzelner Lauf zeigt einen Mechanismus, keinen allgemein gültigen Vorteil. Der Wechsel illustriert besonders, dass gewöhnliche Posterioren kein automatisches Vergessen enthalten. Für unbekannte oder kontinuierliche Kontexte wären andere Modelle nötig.
Der Artikel Kontextuelle Bandits erklärt das Update, ein Zahlenbeispiel und die Grenzen im praktischen Prozess.