Maschinelles Lernen & Feedback

Kontextuelle Bandits verstehen

Eine globale Erfolgsquote kann wichtige Unterschiede verdecken. Kontextuelle Bandits lernen, welche Aktion in welcher Situation passt, und sammeln dabei weiterhin neue Erfahrungen.

  • 3 Min. Lesezeit
  • Aktualisiert am
  • Redaktion smartlytics

Kurz erklärt

Ein kontextueller Bandit beobachtet vor jeder Entscheidung einen Kontext und wählt danach eine Aktion. Im einfachen diskreten Modell erhält jede Kombination aus Kontext und Aktion einen eigenen Beta-Posterior. So kann die bevorzugte Aktion je Situation wechseln.

Simulation öffnenKostenlos · im Browser · ohne Anmeldung

Auf einen Blick

  1. Kontext ist Information, die vor der Aktionswahl verfügbar ist.
  2. Getrennte Modelle können unterschiedliche Präferenzen lernen, brauchen aber ausreichend Daten pro Kontext.
  3. Ein Umgebungswechsel erfordert Anpassung; ein gewöhnlicher Posterior vergisst alte Daten nicht.

Von einer besten Aktion zur passenden Aktion

Ein Supportprozess kann eine kurze Anleitung oder einen geführten Dialog anbieten. Für eine einfache Anfrage reicht die Anleitung häufig aus; bei einem komplexen Problem hilft der Dialog. Wer ausschließlich die durchschnittliche Erfolgsquote betrachtet, könnte dieselbe Variante allen Anfragen zuweisen. Ein kontextueller Bandit nutzt dagegen ein vorab bekanntes Merkmal, hier den Anfragetyp, und entscheidet situationsabhängig.

Der Ablauf bleibt überschaubar: Kontext beobachten, Aktion wählen, Ergebnis der gewählten Aktion erfassen und das zugehörige Modell aktualisieren. Das Ergebnis der nicht gewählten Aktion bleibt unbekannt. Gerade diese unvollständige Rückmeldung unterscheidet das Problem von einem gewöhnlichen Datensatz mit vollständigen Zielwerten. Kontextuelle Empfehlungssysteme sind ein klassisches Anwendungsgebiet (Li et al. 2010). Eine beobachtete Präferenz ist dabei noch keine Erklärung für ihre Ursache.

Das diskrete Modell und sein Update

Unsere Simulation kennt die Kontexte 1 und 2 sowie die Aktionen A und B. Für jede Kombination führt sie eine eigene Erfolgswahrscheinlichkeit. Bei binären Ergebnissen und einem gleichverteilten Prior entsteht nach ss Erfolgen und ff Misserfolgen der Posterior

pc,a∣D∼Beta⁡(1+sc,a,1+fc,a).p_{c,a}\mid D\sim\operatorname{Beta}(1+s_{c,a},1+f_{c,a}).

Thompson Sampling zieht für den aktuellen Kontext einen Wert aus jedem Aktionsposterior und wählt den größeren. Anschließend wird ausschließlich die tatsächlich beobachtete Kombination aktualisiert. Die Vergleichsstrategie verwendet dieselbe Rechenregel, führt aber nur zwei globale Posterioren. Sie ignoriert den Kontext vollständig.

Das ist ein bewusst kleines Tabellenmodell. Forschung zu kontextuellem Thompson Sampling untersucht beispielsweise lineare Zusammenhänge zwischen Merkmalen und Ertrag (Agrawal & Goyal 2013). Solche Modelle können Information zwischen Situationen teilen. Unsere getrennten Tabellen tun das nicht; eine neue Kontextkategorie beginnt mit eigenem Vorwissen.

Ein durchgerechnetes Beispiel

In Kontext 1 erzielt A mit Wahrscheinlichkeit 0,,8 einen Erfolg und B mit 0,,2. In Kontext 2 gelten die umgekehrten Werte. Bei gleich häufigen Kontexten hat jede feste Aktion insgesamt eine Erfolgswahrscheinlichkeit von 0,50{,}5. Eine Strategie, die den jeweils besseren Arm bereits kennt, erreicht dagegen 0,80{,}8.

Über 100 Entscheidungen liegen damit 50 erwartete Erfolge einer festen Aktion und 80 erwartete Erfolge der informierten Kontextstrategie auseinander. Die Differenz von 30 ist ein theoretischer Vergleich unter den festgelegten Raten, kein Ergebnis eines konkreten Zufallslaufs. Ein lernendes Verfahren muss zunächst Informationen sammeln und erreicht den informierten Vergleichswert nicht sofort.

Nach drei Erfolgen und einem Misserfolg für A in Kontext 1 lautet dessen Posterior Beta⁡(4,2)\operatorname{Beta}(4, 2) mit Mittelwert 4/64/6. Beobachtungen in Kontext 2 verändern diesen Posterior nicht. Genau diese Trennung ermöglicht unterschiedliche Entscheidungen und verursacht zugleich zusätzlichen Datenbedarf.

Regret und Umgebungswechsel ausprobieren

Interaktiv

Kontextuelle Bandits interaktiv vergleichen

Die Simulation vergleicht zwei tatsächlich berechnete Thompson-Strategien mit reproduzierbarem Zufall.

Die Kurve zeigt den kumulierten erwarteten Verlust gegenüber der jeweils besten Aktion im aktuellen Kontext. Eine falsche Aktionswahl kostet bei den gewählten Raten 0,8−0,2=0,60{,}8-0{,}2=0{,}6 Regret. Zufällige Misserfolge einer richtig gewählten Aktion erhöhen diese Größe nicht. Deshalb können Erfolgszahl und Regret in einzelnen Läufen unterschiedlich aussehen.

Verändern Sie zunächst nur den Anteil von Kontext 1. Bei seltenem Kontext 2 bekommt dessen Modell weniger Beobachtungen. Aktivieren Sie anschließend den Wechsel: Zur Hälfte des Laufs tauschen alle Erfolgsraten. Alte Beobachtungen bleiben in den Posterioren. Ein bisher sicherer Arm kann deshalb lange bevorzugt bleiben, obwohl sich die Umgebung geändert hat. Das illustriert fehlendes Vergessen; es ist kein Vergleich moderner Verfahren für wechselnde Umgebungen.

Annahmen und Grenzen

Kontexte werden unabhängig gezogen, Ergebnisse sind bedingt auf Kontext und Aktion Bernoulli-verteilt, und Rückmeldungen treffen sofort ein. Der Kontext muss vor der Entscheidung verfügbar sein. Eine Information, die erst durch die gewählte Aktion entsteht, lässt sich nicht ohne Weiteres als Eingangsmerkmal verwenden.

Der feste Zufallsstart erleichtert Vergleiche. Er ersetzt keine Wiederholungen, Unsicherheitsintervalle oder Auswertung mit unabhängigen Daten. Viele Kontexte, verzögerte Ergebnisse und seltene Ereignisse erschweren das Lernen. Unbeschränkte Exploration wäre zudem ungeeignet, wenn einzelne Aktionen unvertretbare Folgen haben. Dann muss die erlaubte Aktionsmenge bereits vor der Auswahl begrenzt sein.

Vom Experiment zum Prozess

Vor einem Einsatz stehen drei konkrete Entscheidungen: Welches Ergebnis zählt, welche Merkmale stehen rechtzeitig zur Verfügung und welche Aktionen sind zulässig? Ein Klick als Belohnung kann andere Entscheidungen erzeugen als ein gelöstes Anliegen. Der Artikel Reward Design vertieft diese Frage. Für den Einstieg ohne Kontext erklärt Multi-Armed Bandits die grundlegende Abwägung zwischen Lernen und Nutzen.

Häufige Fragen

Ist ein kontextueller Bandit Reinforcement Learning?

Er ist ein vereinfachtes Entscheidungsproblem mit Rückmeldung zur gewählten Aktion. Anders als bei einem allgemeinen Markov-Entscheidungsprozess modelliert er hier keine langfristigen Folgen der Aktion für spätere Zustände.

Muss Kontext eine Person beschreiben?

Nein. Auch Tageszeit, Prozesszustand, Gerätetyp oder eine verfügbare Kapazität können Kontext sein. Die Information muss zum Entscheidungszeitpunkt vorliegen.

Lernt die Simulation lineare Zusammenhänge?

Nein. Sie verwendet zwei diskrete Kontexte und unabhängige Beta-Bernoulli-Modelle. Sie teilt keine Information zwischen ähnlichen Kontexten.

Quellen und weiterführende Literatur

  1. PaperLi, L., Chu, W., Langford, J. and Schapire, R. E. (2010): A Contextual-Bandit Approach to Personalized News Article Recommendation. WWW 2010.
  2. PaperAgrawal, S. and Goyal, N. (2013): Thompson Sampling for Contextual Bandits with Linear Payoffs. PMLR 28(3), 127–135.

Zuletzt fachlich geprüft am 14. November 2026. Hinweise auf Fehler nehmen wir gern entgegen: impressum@nyxai.com.

Von NyxAI

smartlytics ist das Wissensangebot der NyxAI GmbH.

Wir erklären hier die Methoden, mit denen wir arbeiten – offen, mit Quellen und so, dass man sie nachrechnen kann.

Entscheidungskern

NyxAI entwickelt einen Entscheidungskern (Decision Core) für Decision Intelligence, der Optimierung, Simulation, Statistik und Reinforcement Learning verbindet: Optionen vergleichen, Unsicherheit sichtbar machen, aus Ergebnissen lernen – unter menschlicher Verantwortung.

DeepSquare

Erklärbare Schach-KI mit menschlichen Spielstilen: das Testfeld von NyxAI für nachvollziehbare Entscheidungen unter Zeitdruck.