Maschinelles Lernen & Feedback

Reward Design: Was soll ein Agent optimieren?

Ein Agent optimiert die vorgegebene Belohnung. Ob diese Rechnung das gewünschte Ergebnis trifft, ist eine eigene Frage. Eine kleine Rasterwelt macht den Unterschied zwischen Modellwert und unabhängiger Bewertung sichtbar.

  • 4 Min. Lesezeit
  • Aktualisiert am
  • Redaktion smartlytics

Kurz erklärt

Reward Design legt fest, welche Ergebnisse und Übergänge ein Agent bevorzugen soll. Fehlende Kosten können unerwünschte Nebenwirkungen attraktiv machen. Deshalb sollte die Belohnung mit einer getrennten Bewertung des tatsächlich gewählten Verhaltens geprüft werden.

Simulation öffnenKostenlos · im Browser · ohne Anmeldung

Auf einen Blick

  1. Die Belohnungsfunktion beschreibt ein Modell des Ziels, nicht automatisch das vollständige Ziel.
  2. Eine Nebenwirkung muss im Zustand und in der Bewertung sichtbar sein, bevor sie berücksichtigt werden kann.
  3. Eine unabhängige Bewertung kann zeigen, dass ein hoher Modellwert durch unerwünschtes Verhalten entsteht.

Vom gewünschten Ergebnis zur Zahl

„Erledige die Aufgabe schnell“ klingt eindeutig. Es lässt aber offen, welche Schäden, Unterbrechungen oder Folgekosten dabei akzeptabel sind. Sobald ein Entscheidungsverfahren eine Zahl maximiert, muss diese Unbestimmtheit aufgelöst werden. Eine Belohnungsfunktion weist Zustandsübergängen oder Ergebnissen Werte zu. Der Agent nutzt diese Werte, unabhängig davon, ob der Mensch weitere Erwartungen hatte.

Unerwünschte Nebenwirkungen und das Ausnutzen unvollständiger Ziele sind bekannte Probleme beim Entwurf lernender Systeme (Amodei et al. 2016). Dafür braucht es kein besonders komplexes Modell. Schon ein kleiner, vollständig bekannter Entscheidungsraum kann zeigen, wie eine vernünftige Absicht in eine unpassende Zielfunktion übersetzt wird. Unser Beispiel trennt deshalb die Optimierung ausdrücklich von der späteren Bewertung.

Ein endliches Raster mit einem zerbrechlichen Objekt

Die Welt hat drei Zeilen und drei Spalten. Der Start liegt links in der mittleren Zeile, das Ziel rechts. In der Mitte steht ein zerbrechliches Objekt. Jeder Schritt nach oben, unten, links oder rechts kostet eine Einheit. Beim ersten Erreichen des Ziels gibt es zehn Einheiten Belohnung; danach endet die Episode.

Wer das Objekt betritt, beschädigt es einmalig. Der Zustand enthält deshalb neben der Position auch die Information „bereits beschädigt“. Ohne dieses zusätzliche Merkmal könnte das Modell dieselbe Beschädigung wiederholt berechnen. Die einstellbare Modellstrafe λ\lambda wird nur beim ersten Schaden abgezogen. Für einen Weg mit nn Schritten lautet die Bewertung:

G=10 1Ziel erreicht−n−λ 1Schaden.G=10\,\mathbf{1}_{\text{Ziel erreicht}}-n-\lambda\,\mathbf{1}_{\text{Schaden}}.

Die maximale Schrittzahl begrenzt die Planung. Ein Rückwärtsverfahren prüft für jede Position, jeden Schadenszustand und jede verbleibende Zeit alle erlaubten nächsten Schritte. Es findet das Optimum dieses endlichen Modells. Es lernt weder aus Erfahrung noch aus einem neuronalen Netz.

Ein durchgerechneter Zielkonflikt

Der direkte Weg braucht zwei Schritte und beschädigt das Objekt. Ohne Modellstrafe erhält er 10−2=810-2=8 Punkte. Der sichere Umweg über die obere oder untere Zeile braucht vier Schritte und erhält 10−4=610-4=6 Punkte. Die Optimierung bevorzugt deshalb zunächst den beschädigenden Weg.

Eine separate Prüfung bewertet denselben gewählten Weg stets mit Schadenskosten von sechs Einheiten. Der direkte Weg erreicht dort nur 10−2−6=210-2-6=2, der Umweg weiterhin sechs Punkte. Dieses zweite Ergebnis wird nicht zur Planung benutzt. Es legt offen, welche Folge die erste Zielfunktion ausgeblendet hat.

Bei einer Modellstrafe von drei Punkten fällt der direkte Weg auf fünf Punkte zurück. Der Umweg gewinnt mit sechs. Bei genau zwei Punkten herrscht Gleichstand; die feste Suchreihenfolge zeigt dann den zuerst gefundenen Weg. Eine stabile Ausgabe bei Gleichstand bedeutet also keine besondere inhaltliche Präferenz. Ist die Schrittgrenze nur zwei, existiert überhaupt kein rechtzeitig erreichbarer sicherer Weg.

Die Entscheidung selbst verändern

Interaktiv

Reward Design in einer kleinen Gridworld

Diese Rasterwelt berechnet den optimalen Weg für die gewählte Belohnung und bewertet ihn zusätzlich mit festen Prüfkosten.

Starten Sie ohne Schadensstrafe und vergleichen Sie Modellwert mit Prüfwert. Erhöhen Sie anschließend die Strafe auf drei. Der Weg wechselt, obwohl Umgebung, Zielbelohnung und Bewegungskosten gleich bleiben. Begrenzen Sie danach die verfügbare Zeit auf zwei Schritte. So wird aus einer Präferenzfrage eine Einschränkung der erreichbaren Möglichkeiten.

Das Diagramm zeigt den berechneten Weg. Der Text darunter nennt zusätzlich Schritte, Schaden und Zielerreichung. Diese getrennten Größen sind nützlicher als eine einzelne Gesamtnote: Sie zeigen, ob eine Verbesserung aus höherem Nutzen, geringeren Kosten oder einer veränderten Definition des Ziels stammt.

Annahmen und Grenzen der Belohnung

Alle Bewegungen gelingen sicher, das Modell ist bekannt, und es gibt nur eine Nebenwirkung. Reale Systeme haben oft unsichere Übergänge, unvollständige Beobachtungen und mehrere Betroffene. Die feste Prüfstrafe ist ebenfalls eine Annahme, keine universelle Definition richtigen Verhaltens. Ein gutes Prüfmodell muss unabhängig begründet werden.

Zusätzliche Belohnungen sind nicht automatisch unschädliche Lernhilfen. Potentialbasiertes Reward Shaping kann unter bestimmten Bedingungen die optimale Strategie erhalten (Ng et al. 1999). Unsere Schadensstrafe soll dagegen gerade die bevorzugte Strategie verändern. Diese beiden Zwecke sollten nicht verwechselt werden. Wenn eine Handlung grundsätzlich ausgeschlossen sein muss, ist eine explizite Beschränkung klarer als die Hoffnung, eine genügend große Strafe werde immer abschrecken.

Belohnung als überprüfbare Prozessentscheidung

Für einen praktischen Prozess sollten Zielkennzahl, Nebenwirkungen und harte Grenzen getrennt festgehalten werden. Prüfen Sie konkrete Verhaltensweisen: Was maximiert die Kennzahl, ohne das eigentliche Anliegen zu erfüllen? Welche Kosten fehlen? Welches Verhalten wäre selbst bei hohem Gesamtnutzen unzulässig?

Der Artikel Reinforcement Learning erklärt das Lernen einer Strategie. Regeln und Optimierung zeigt, wie harte Bedingungen vor der Optimierung geprüft werden. Beide Perspektiven ergänzen die Frage, welche Belohnung ein Agent erhalten soll.

Häufige Fragen

Ist die Demo ein trainierter Reinforcement-Learning-Agent?

Nein. Sie löst das bekannte endliche Modell exakt durch dynamische Programmierung. Dadurch lässt sich die Wirkung der Belohnungsfunktion ohne Trainingsrauschen untersuchen.

Ist jede Zusatzbelohnung harmloses Reward Shaping?

Nein. Zusätzliche Belohnungen können die optimale Strategie ändern. Potentialbasiertes Shaping hat unter passenden Voraussetzungen eine besondere Erhaltungseigenschaft; eine beliebige Strafzahlung besitzt sie nicht.

Sind die Prüfkosten von sechs Einheiten objektiv richtig?

Nein. Sie sind eine ausdrücklich festgelegte zweite Bewertungsannahme. Im Einsatz müssten Kosten, Grenzen und betroffene Interessen begründet werden.

Quellen und weiterführende Literatur

  1. PaperAmodei, D. et al. (2016): Concrete Problems in AI Safety. arXiv.
  2. PaperNg, A. Y., Harada, D. and Russell, S. (1999): Policy invariance under reward transformations: Theory and application to reward shaping. ICML 1999.

Zuletzt fachlich geprüft am 14. November 2026. Hinweise auf Fehler nehmen wir gern entgegen: impressum@nyxai.com.

Von NyxAI

smartlytics ist das Wissensangebot der NyxAI GmbH.

Wir erklären hier die Methoden, mit denen wir arbeiten – offen, mit Quellen und so, dass man sie nachrechnen kann.

Entscheidungskern

NyxAI entwickelt einen Entscheidungskern (Decision Core) für Decision Intelligence, der Optimierung, Simulation, Statistik und Reinforcement Learning verbindet: Optionen vergleichen, Unsicherheit sichtbar machen, aus Ergebnissen lernen – unter menschlicher Verantwortung.

DeepSquare

Erklärbare Schach-KI mit menschlichen Spielstilen: das Testfeld von NyxAI für nachvollziehbare Entscheidungen unter Zeitdruck.