Interaktiver Explainer
Reward Design in einer kleinen Gridworld
Der kurze Weg beschädigt ein Objekt. Der sichere Weg dauert länger. Verändern Sie die Belohnung und beobachten Sie die exakt berechnete Entscheidung.
Reward Design in einer kleinen Gridworld
Die Rasterwelt berechnet einen optimalen Weg und dessen Nebenwirkung. Beide Ergebnisse entstehen direkt aus den gewählten Einstellungen.
Was berechnet wird
Ein Agent startet links in der mittleren Zeile eines 3×3-Rasters und möchte das rechte Feld erreichen. Jeder Schritt kostet eine Einheit, das Ziel bringt einmalig zehn. Das mittlere Feld enthält ein zerbrechliches Objekt. Sein erstes Betreten verursacht die einstellbare Modellstrafe.
Das Verfahren kennt die Welt vollständig und berechnet den besten Weg durch dynamische Programmierung. Es ist keine Trainingsanimation. Neben dem optimierten Modellwert erscheint ein Prüfwert: Er bewertet denselben Weg mit festen Schadenskosten von sechs Einheiten. Der Prüfwert beeinflusst die Wegwahl nicht. So lässt sich erkennen, ob die Belohnung eine wichtige Folge berücksichtigt.
Drei Experimente
- Fehlende Kosten: Setzen Sie die Schadensstrafe auf null und erlauben Sie sechs Schritte. Der direkte Weg hat Modellwert acht, verursacht aber Schaden und erreicht Prüfwert zwei.
- Nebenwirkung einbeziehen: Erhöhen Sie die Strafe auf drei. Der sichere Weg mit vier Schritten wird besser als die Abkürzung. Prüfen Sie Weg, Schaden und beide Bewertungen.
- Zu wenig Zeit: Beschränken Sie die Planung auf zwei Schritte. Der sichere Umweg passt nicht mehr in die verfügbare Zeit. Eine Strafe kann diese fehlende Möglichkeit nicht erzeugen.
Ergebnis richtig lesen
Der Zustand merkt sich, ob das Objekt bereits beschädigt wurde. Der Schaden wird deshalb nur einmal berechnet. Bei gleichen Bewertungen entscheidet eine feste Reihenfolge. Das Beispiel ist deterministisch; Zurücksetzen stellt die Ausgangswerte wieder her.
Der Artikel Reward Design erklärt die Rechnung, die Grenzen von Belohnungen und den Unterschied zu harten Regeln.