Interaktiver Explainer
Regression und Überanpassung – interaktiver Rechner
Eine Kurve kann bekannte Daten hervorragend treffen und neue Beobachtungen schlecht vorhersagen. Vergleichen Sie verschiedene Polynomgrade an denselben Trainings- und Prüfdaten und beobachten Sie, wann zusätzliche Flexibilität schadet.
Vergleichen Sie eine Polynomkurve auf Trainingsdaten mit ihrer Leistung auf 80 unabhängigen Holdout-Punkten. Alle Beobachtungen sind synthetisch. Die wahre Beziehung ist eine Sinuskurve mit einem linearen Anteil; hinzu kommt einstellbares Rauschen. Die Berechnung läuft lokal im Browser und benötigt keine eigenen Daten.
Regression und Überanpassung – interaktiver Rechner
Die Kurve wird nur mit Trainingspunkten angepasst. Grad eins bis zwölf verändert ihre Flexibilität; der Holdout bleibt beim Ändern der Trainingsmenge unverändert.
Drei Experimente
- Flexibilität erhöhen. Beginnen Sie mit Grad eins und erhöhen Sie ihn schrittweise. Vergleichen Sie Trainings- und Holdout-Fehler. Suchen Sie nach einem Bereich, in dem die Trainingsanpassung besser wird, die Vorhersage für die Vergleichspunkte aber nicht mehr gewinnt.
- Mehr Rauschen hinzufügen. Halten Sie Grad und Datenmenge fest und erhöhen Sie das Rauschen. Dieselben Zufallsziehungen werden stärker skaliert. Beobachten Sie, ob die Kurve einzelnen Abweichungen folgt und zwischen den Punkten ausschlägt.
- Mehr Daten verwenden. Vergleichen Sie 16 mit 60 Trainingspunkten bei einem hohen Grad. Die zusätzlichen Beobachtungen erweitern dieselbe Stichprobe; die 80 Holdout-Punkte bleiben gleich. Setzen Sie anschließend alles zurück.
Was die Fehler sagen
Der mittlere quadratische Fehler gewichtet große Abweichungen besonders stark. Die Tabelle zeigt ihn für alle zwölf Grade. Eine numerisch stabile Berechnung verhindert keine Überanpassung; starke Ausschläge können ein korrektes Ergebnis sein. Wer den Holdout wiederholt zur Auswahl des besten Grades verwendet, benötigt später neue Testdaten. Der Artikel über Regression und Überanpassung erklärt Datentrennung, Annahmen und typische Fehlschlüsse.