Interaktiver Explainer

Kontextuelle Bandits interaktiv vergleichen

Zwei Situationen bevorzugen unterschiedliche Aktionen. Beobachten Sie, was eine globale Strategie übersieht und wie getrennte Posterioren lernen.

Interaktiv

Kontextuelle Bandits interaktiv vergleichen

Die Simulation berechnet Thompson Sampling mit zwei getrennten Kontextmodellen und mit einem gemeinsamen Modell.

Was berechnet wird

Zwei Situationen bevorzugen unterschiedliche Aktionen. In Kontext 1 gewinnt A mit Wahrscheinlichkeit 80 %, B mit 20 %. Kontext 2 kehrt diese Werte um. Beide Strategien starten mit gleichverteilten Beta-Priors. Die kontextabhängige Variante aktualisiert nur das Modell der beobachteten Situation; die globale Variante fasst alle Beobachtungen zusammen.

Die Linien zeigen Regret, also den erwarteten Verlust gegenüber einer Strategie, die die jeweils beste Aktion bereits kennt. Die Tabelle zählt tatsächlich gewählte Aktionen. Erfolge sind zufällige Ergebnisse und deshalb nicht mit Regret gleichzusetzen. Beide Strategien erhalten dieselben potenziellen Ergebnisse je Runde und Aktion, soweit sie dieselbe Aktion wählen. Ihr eigener Zufall für die Auswahl bleibt getrennt.

Drei Experimente

  1. Gleiche Häufigkeit: Lassen Sie den Kontextanteil auf 50 % und erhöhen Sie die Zahl der Entscheidungen. Beobachten Sie, wie sich A und B je Kontext verteilen.
  2. Seltene Situation: Stellen Sie Kontext 1 auf 90 %. Vergleichen Sie die Zahl der Beobachtungen für den zweiten Kontext mit dem Gesamtumfang.
  3. Neue Umgebung: Aktivieren Sie den Wechsel zur Halbzeit. Beide Ratenpaare tauschen ihre Werte; die Modelle behalten ihre bisherigen Erfahrungen.

Ergebnis richtig lesen

Der feste Zufallsstart 42 macht jede Einstellung reproduzierbar. Ein einzelner Lauf zeigt einen Mechanismus, keinen allgemein gültigen Vorteil. Der Wechsel illustriert besonders, dass gewöhnliche Posterioren kein automatisches Vergessen enthalten. Für unbekannte oder kontinuierliche Kontexte wären andere Modelle nötig.

Der Artikel Kontextuelle Bandits erklärt das Update, ein Zahlenbeispiel und die Grenzen im praktischen Prozess.

Von NyxAI

smartlytics ist das Wissensangebot der NyxAI GmbH.

Wir erklären hier die Methoden, mit denen wir arbeiten – offen, mit Quellen und so, dass man sie nachrechnen kann.

Entscheidungskern

NyxAI entwickelt einen Entscheidungskern (Decision Core) für Decision Intelligence, der Optimierung, Simulation, Statistik und Reinforcement Learning verbindet: Optionen vergleichen, Unsicherheit sichtbar machen, aus Ergebnissen lernen – unter menschlicher Verantwortung.

KI-Workflows bei NyxAI

DeepSquare

Erklärbare Schach-KI mit menschlichen Spielstilen: das Testfeld von NyxAI für nachvollziehbare Entscheidungen unter Zeitdruck.