Reinforcement Learning einfach erklärt

Auf einen Blick

1. Reinforcement Learning lernt aus Belohnungen statt aus richtigen Antworten: Ein Agent handelt, beobachtet die Folgen und verbessert schrittweise seine Strategie.
2. Die Bellman-Gleichung zerlegt den Wert einer Entscheidung in die sofortige Belohnung und den abgezinsten Wert des Folgezustands. Darauf bauen Value Iteration und Q-Learning auf.
3. In der Praxis entscheiden Belohnungsdesign, Datenmenge, Güte der Simulation und Sicherheitsgrenzen über den Erfolg – nicht allein der Algorithmus.

Viele Entscheidungen wirken über den Moment hinaus. Wer heute Lagerbestand aufbaut, hat morgen weniger Kapital; ein Zug im Schach verändert alle folgenden Möglichkeiten. Reinforcement Learning, auf Deutsch auch bestärkendes Lernen, ist das Teilgebiet des maschinellen Lernens, das genau solche Folgen von Entscheidungen behandelt: Ein Agent lernt aus Rückmeldungen, wie er handeln sollte, damit die Summe der Belohnungen auf lange Sicht möglichst groß wird (Sutton & Barto 2018).

Lernen durch Handeln

Beim überwachten Lernen liegt zu jedem Beispiel die richtige Antwort bereit. Beim Reinforcement Learning gibt es sie nicht. Der Agent erfährt nur, wie gut oder schlecht die Folgen seiner Handlungen waren – und oft erst viele Schritte später. Daraus ergeben sich zwei Aufgaben, die überwachte Verfahren nicht kennen: Er muss herausfinden, welche früheren Handlungen eine späte Belohnung verdient haben, und er muss auch Handlungen ausprobieren, deren Folgen er noch nicht kennt.

Formal ist das ein Regelkreis. Zu jedem Zeitpunkt $t$ beobachtet der Agent einen Zustand $s_t$, wählt eine Aktion $a_t$ und erhält von der Umgebung eine Belohnung $r_{t+1}$ sowie den nächsten Zustand $s_{t+1}$.

Das Modell: der Markov-Entscheidungsprozess

Der mathematische Rahmen ist der Markov-Entscheidungsprozess (englisch Markov Decision Process, MDP) (Puterman 1994). Er besteht aus

• einer Menge von Zuständen $S$ und einer Menge von Aktionen $A$,
• Übergangswahrscheinlichkeiten $P(s' \mid s, a)$: Mit welcher Wahrscheinlichkeit führt Aktion $a$ im Zustand $s$ in den Zustand $s'$?
• einer Belohnungsfunktion $r(s, a, s')$ und
• einem Diskontfaktor $\gamma$ zwischen 0 und 1.

„Markov“ heißt: Der aktuelle Zustand enthält alles, was für die Zukunft zählt. Die Vorgeschichte spielt keine zusätzliche Rolle.

Das Ziel des Agenten ist nicht die nächste Belohnung, sondern der Return, die abgezinste Summe aller künftigen Belohnungen:

Ein $\gamma$ nahe 0 macht den Agenten kurzsichtig, ein $\gamma$ nahe 1 weitsichtig. Wie ein Zinssatz drückt $\gamma$ aus, dass eine Belohnung heute mehr wert ist als dieselbe Belohnung später. Grob gilt: Belohnungen, die deutlich weiter als $1/(1-\gamma)$ Schritte entfernt sind, fallen kaum noch ins Gewicht – bei $\gamma = 0{,}9$ sind das etwa zehn Schritte.

Wie sich der Agent verhält, beschreibt seine Strategie, die Policy $\pi(a \mid s)$: die Wahrscheinlichkeit, im Zustand $s$ die Aktion $a$ zu wählen. Gesucht ist eine Policy, die den erwarteten Return maximiert.

Werte und die Bellman-Gleichung

Zwei Wertfunktionen machen diese Suche handhabbar. Der Zustandswert $V^\pi(s)$ ist der erwartete Return, wenn man in $s$ startet und danach der Policy $\pi$ folgt. Der Aktionswert $Q^\pi(s, a)$ ist der erwartete Return, wenn man in $s$ zuerst die Aktion $a$ wählt und danach $\pi$ folgt.

Richard Bellman hat gezeigt, dass sich solche Werte rekursiv schreiben lassen (Bellman 1957). Für eine feste Policy gilt die Bellman-Erwartungsgleichung:

In Worten: Der Wert eines Zustands ist die erwartete sofortige Belohnung plus der abgezinste Wert dessen, was danach kommt. Für die bestmögliche Policy wird aus der Mittelung über Aktionen ein Maximum – die Bellman-Optimalitätsgleichung:

Kennt man die optimalen Werte, ist die optimale Policy einfach: In jedem Zustand wählt man die Aktion, die das Maximum erreicht. Dieselbe Gleichung gibt es für Aktionswerte, $Q^*(s, a) = \sum_{s'} P(s' \mid s, a)\,[\,r(s, a, s') + \gamma \max_{a'} Q^*(s', a')\,]$. Sie ist die Grundlage für Q-Learning.

Ein Beispiel zum Nachrechnen: der Korridor

Ein Agent steht in einem Korridor aus drei Feldern A, B und C. Rechts von C liegt das Ziel, das die Episode beendet. In jedem Feld kann er nach links oder rechts gehen; von A aus nach links bleibt er stehen. Wer das Ziel erreicht, erhält eine Belohnung von 10, jeder andere Schritt bringt 0. Der Diskontfaktor ist $\gamma = 0{,}9$.

Value Iteration löst die Bellman-Optimalitätsgleichung, indem sie sie wiederholt als Rechenvorschrift anwendet. Man startet mit $V_0 = 0$ für alle Felder und berechnet in jedem Durchlauf für jedes Feld neu:

Im ersten Durchlauf erkennt nur C, dass ein Schritt nach rechts 10 einbringt. Im zweiten erfährt B davon: Rechts wartet C mit Wert 10, abgezinst also $0{,}9 \cdot 10 = 9$. Im dritten erreicht die Information A mit $0{,}9 \cdot 9 = 8{,}1$. Danach ändert sich nichts mehr – die Werte sind konvergiert. Sie fließen vom Ziel rückwärts durch den Zustandsraum, und $V^*(\text{A}) = 8{,}1$ ist genau die Belohnung 10, zweimal um den Faktor 0,9 abgezinst. Die optimale Policy liest man direkt ab: überall nach rechts.

Eine verwandte Methode ist die Policy Iteration: Sie berechnet abwechselnd die Werte einer festen Policy und verbessert die Policy dann, indem sie in jedem Zustand die beste Aktion bezüglich dieser Werte wählt. Beide Verfahren gehören zur dynamischen Programmierung und setzen voraus, dass man Übergänge und Belohnungen kennt (Puterman 1994).

Interaktiv

Gridworld: Reinforcement Learning zum Anfassen

Der interaktive Explainer zeigt Value Iteration und Q-Learning in einer größeren Welt mit Ziel, Fallen und Wänden. Ohne JavaScript bleibt das Korridor-Beispiel oben die vollständige Rechnung.

Lernen ohne Modell: TD-Lernen und Q-Learning

In den meisten interessanten Anwendungen kennt man $P$ und $r$ nicht. Der Agent muss aus Erfahrung lernen: aus beobachteten Übergängen der Form (Zustand, Aktion, Belohnung, Folgezustand). Das Temporal-Difference-Lernen schätzt Werte, indem es jede Schätzung ein Stück in Richtung eines Ziels verschiebt, das selbst eine Schätzung enthält – die beobachtete Belohnung plus den geschätzten Wert des Folgezustands (Sutton 1988).

Q-Learning wendet diese Idee auf Aktionswerte an (Watkins & Dayan 1992). Nach jedem Schritt wird der Wert der gewählten Aktion aktualisiert:

Der Ausdruck in der Klammer heißt TD-Fehler: der Unterschied zwischen dem, was die Erfahrung nahelegt, und der bisherigen Schätzung. Die Lernrate $\alpha$ bestimmt, wie weit man ihm folgt.

Q-Learning hat eine bemerkenswerte Eigenschaft: Es lernt die Werte der besten Policy, auch während der Agent sich anders verhält, etwa weil er noch ausprobiert. Man nennt das Off-Policy-Lernen. Im tabellarischen Fall konvergieren die Schätzungen gegen $Q^*$, wenn jedes Zustand-Aktion-Paar unbegrenzt oft besucht wird und die Lernrate passend kleiner wird (Watkins & Dayan 1992).

Damit wird auch klar, warum Erkunden notwendig ist. Ein Agent, der immer nur die bisher beste Aktion wählt, erfährt nie, ob eine andere besser gewesen wäre. Die einfachste Lösung ist ε-greedy: meistens die beste bekannte Aktion wählen, mit kleiner Wahrscheinlichkeit $\varepsilon$ eine zufällige. Dasselbe Dilemma zwischen Erkunden und Ausnutzen behandeln – ohne Zustände und mit eleganteren Lösungen – die Multi-Armed Bandits.

Von Tabellen zu neuronalen Netzen

Tabellen funktionieren nur, solange man alle Zustände aufzählen kann. Schon ein Bild mit wenigen Pixeln hat mehr mögliche Zustände, als je besucht werden können. Dann ersetzt man die Tabelle durch eine Funktion, die Werte aus Merkmalen des Zustands berechnet – linear oder mit einem neuronalen Netz. Die Kombination mit tiefen Netzen heißt Deep Reinforcement Learning. Einen Meilenstein setzte das Deep-Q-Network, das 49 Atari-Spiele direkt aus Bildschirmpixeln erlernte und dafür unter anderem frühere Erfahrungen zwischenspeicherte und erneut verwendete (Mnih et al. 2015).

Ein zweiter großer Zweig optimiert die Policy direkt. Policy-Gradient-Verfahren verändern die Parameter einer Policy in die Richtung, in der der erwartete Return steigt; der klassische Ausgangspunkt ist der REINFORCE-Algorithmus (Williams 1992). Actor-Critic-Methoden verbinden beide Welten: Ein Teil lernt die Policy, ein anderer ihre Werte.

In Brettspielen zeigt sich, wie gut Lernen und Planen zusammenpassen. AlphaZero kombinierte ein durch Selbstspiel trainiertes Netz mit einer Baumsuche, die in jeder Stellung vorausrechnet, und erreichte so in Schach, Shogi und Go sehr hohe Spielstärke (Silver et al. 2018). Die Suche nutzt dabei ein Modell der Spielregeln – ein Luxus, den reale Anwendungen selten haben.

Welches Verfahren passt zu welcher Frage?

Reinforcement Learning ist mächtig, aber nicht immer die beste Wahl. Oft löst ein einfacheres Verfahren dieselbe Aufgabe mit weniger Daten und besser nachvollziehbar:

Reinforcement Learning in der Praxis

Zwischen Lehrbuchbeispiel und produktivem Einsatz liegen einige typische Hürden:

• Belohnungsdesign. Ein Agent optimiert genau das, was man belohnt – nicht das, was man meint. Ist die Belohnung unvollständig spezifiziert, findet er Abkürzungen, die formal Punkte bringen, aber das eigentliche Ziel verfehlen. Diese Gefahr heißt Reward Hacking und ist eines der bekannten Sicherheitsprobleme lernender Systeme (Amodei et al. 2016).
• Datenhunger. Viele Verfahren brauchen Millionen von Interaktionen. Deshalb lernen Agenten häufig in Simulationen – und müssen dann die Lücke zwischen Simulation und Wirklichkeit überbrücken.
• Lernen aus vorhandenen Daten. Offline Reinforcement Learning lernt aus protokollierten Entscheidungen, ohne selbst auszuprobieren. Das ist sicherer, aber schwierig, weil die Daten nur die Handlungen enthalten, die tatsächlich gewählt wurden (Levine et al. 2020).
• Grenzen und Aufsicht. In realen Prozessen gelten harte Nebenbedingungen, und Fehlentscheidungen kosten echtes Geld oder mehr. Sinnvoll sind feste Leitplanken, schrittweise Freigaben, laufende Überwachung und die Möglichkeit, Entscheidungen zurückzunehmen.

Fazit

Reinforcement Learning beruht auf einer einfachen Struktur: Zustände, Aktionen, Belohnungen und die Bellman-Gleichung, die den Wert einer Entscheidung mit dem Wert ihrer Folgen verknüpft. Value Iteration nutzt sie, wenn das Modell bekannt ist; Q-Learning lernt dieselben Werte aus Erfahrung. Der Weg in die Praxis führt über sorgfältig gestaltete Belohnungen, realistische Simulationen und klare Grenzen. Wer tiefer einsteigen will, findet bei Sutton und Barto die vollständige Darstellung (Sutton & Barto 2018).

Häufige Fragen

Was ist der Unterschied zwischen Reinforcement Learning und überwachtem Lernen?

Beim überwachten Lernen gibt es zu jedem Beispiel die richtige Antwort. Beim Reinforcement Learning erhält der Agent nur eine Belohnung für die Folgen seiner Handlungen, oft erst viele Schritte später. Er muss selbst herausfinden, welche Handlungen dazu beigetragen haben, und dabei auch Unbekanntes ausprobieren.

Was ist Q-Learning?

Q-Learning ist ein Verfahren, das für jede Kombination aus Zustand und Aktion schätzt, wie viel abgezinste Belohnung langfristig zu erwarten ist. Nach jedem Schritt wird die Schätzung ein Stück in Richtung von sofortiger Belohnung plus bestem geschätzten Folgewert verschoben. Ein Modell der Umgebung braucht es dafür nicht.

Was sagt die Bellman-Gleichung?

Sie besagt, dass der Wert eines Zustands gleich der erwarteten sofortigen Belohnung plus dem abgezinsten Wert des Folgezustands ist. Für die optimale Strategie wählt man dabei in jedem Zustand die Aktion mit dem höchsten Wert. Aus dieser rekursiven Beziehung leiten sich fast alle Verfahren des Reinforcement Learning ab.

Braucht Reinforcement Learning neuronale Netze?

Nein. Kleine Probleme lassen sich mit Tabellen lösen, in denen jeder Zustand oder jedes Zustand-Aktion-Paar einen eigenen Wert hat. Neuronale Netze oder andere Funktionsapproximationen braucht man erst, wenn es zu viele Zustände für eine Tabelle gibt – etwa bei Bildern als Eingabe.

Quellen und weiterführende Literatur

1. BuchSutton, R. S. und Barto, A. G. (2018): Reinforcement Learning: An Introduction (2. Auflage). MIT Press.Das Standardlehrbuch; die Autoren stellen eine PDF-Fassung frei zur Verfügung.
2. BuchBellman, R. (1957): Dynamic Programming. Princeton University Press.
3. BuchPuterman, M. L. (1994): Markov Decision Processes: Discrete Stochastic Dynamic Programming. Wiley.
4. PaperSutton, R. S. (1988): Learning to predict by the methods of temporal differences. Machine Learning 3(1), 9–44.
5. PaperWatkins, C. J. C. H. und Dayan, P. (1992): Q-learning. Machine Learning 8(3–4), 279–292.
6. PaperWilliams, R. J. (1992): Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning 8(3–4), 229–256.
7. PaperMnih, V., Kavukcuoglu, K., Silver, D. et al. (2015): Human-level control through deep reinforcement learning. Nature 518(7540), 529–533.
8. PaperSilver, D., Hubert, T., Schrittwieser, J. et al. (2018): A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play. Science 362(6419), 1140–1144.
9. PaperAmodei, D., Olah, C., Steinhardt, J., Christiano, P., Schulman, J. und Mané, D. (2016): Concrete Problems in AI Safety. arXiv:1606.06565.
10. PaperLevine, S., Kumar, A., Tucker, G. und Fu, J. (2020): Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems. arXiv:2005.01643.

Zuletzt fachlich geprüft am 25. September 2026. Hinweise auf Fehler nehmen wir gern entgegen: impressum@nyxai.com.

Weiterlesen

Lernen aus Feedback

Multi-Armed Bandits & Thompson Sampling

Das Beste nutzen oder Neues ausprobieren? Regret, ε-greedy, UCB1 und Thompson Sampling – mit einem Schritt zum Nachrechnen und einer Simulation.

9 Min. Lesezeit· mit interaktivem Explainer

Entscheiden & Optimieren

Optimierung: lineare Programme und Scheduling

Entscheidungsvariablen, Zielfunktion, Nebenbedingungen: wie lineare Programme funktionieren, was Schattenpreise verraten, warum Runden scheitert und wie Scheduling-Regeln wirken.

11 Min. Lesezeit

Decision Intelligence

Was ist Decision Intelligence?

Wie aus Daten überprüfbare Entscheidungen werden: Definition, Abgrenzung zu BI und Predictive Analytics, die methodischen Bausteine und ein durchgerechnetes Beispiel.

13 Min. Lesezeit