Maschinelles Lernen & Feedback
Regression und Überanpassung: Training ist nicht Test
Eine Kurve kann bekannte Daten hervorragend treffen und neue Beobachtungen schlecht vorhersagen. Vergleichen Sie verschiedene Polynomgrade an denselben Trainings- und Prüfdaten und beobachten Sie, wann zusätzliche Flexibilität schadet.
Kurz erklärt
Überanpassung entsteht, wenn ein Modell zufällige Besonderheiten der Trainingsdaten mitlernt. Dann sinkt der Trainingsfehler, während der Fehler auf unabhängigen Daten steigen kann. Ein fester Holdout macht diesen Unterschied sichtbar, darf aber nicht unbegrenzt zur Modellauswahl benutzt werden.
Im kostenlosen Rechner ausprobierenKostenlos · im Browser · ohne Anmeldung
Auf einen Blick
- Ein niedriger Trainingsfehler beweist keine gute Vorhersage für neue Daten.
- Modellgrad, Rauschen und Stichprobengröße bestimmen gemeinsam das Anpassungsverhalten.
- Wer den Holdout zur Auswahl verwendet, braucht für die abschließende Bewertung neue Testdaten.
Kann eine perfekte Anpassung schlecht vorhersagen?
Ein Modell soll aus einer Eingabe eine Zielgröße vorhersagen. Im Lernbeispiel liegt darunter die bekannte Funktion . Zu jedem beobachteten Wert kommt zufälliges Rauschen hinzu. Die Anwendung kennt die wahre Kurve, das angepasste Modell bekommt jedoch nur die Trainingspunkte. So lässt sich unterscheiden, ob eine Kurve das Muster oder zufällige Abweichungen erklärt.
Eine Gerade hat wenig Bewegungsfreiheit. Ein Polynom höheren Grades kann zusätzliche Biegungen erzeugen und sich näher an einzelne Punkte legen. Die offizielle Demonstration von scikit-learn nutzt polynomiale Modelle ebenfalls, um Unter- und Überanpassung sichtbar zu machen (scikit-learn developers 2026). Unser Beispiel verwendet eigene Daten und eine feste, unabhängig erzeugte Vergleichsstichprobe. Keine Beobachtung stammt von echten Kunden oder aus einem hochgeladenen Datensatz.
Training und Holdout sauber trennen
Zu Beginn stehen 24 Trainingspunkte und 80 Holdout-Punkte bereit. Beide Stichproben folgen derselben zugrunde liegenden Funktion und demselben Rauschmodell, werden aber mit getrennten festen Zufallsstarts erzeugt. Der Rechner passt die Kurve ausschließlich an die Trainingspunkte an. Die Holdout-Zielwerte werden nicht für die Koeffizientenberechnung verwendet.
Als Fehlermaß dient der mittlere quadratische Fehler: Für jeden Punkt wird Vorhersage minus Beobachtung quadriert, anschließend werden die Quadrate gemittelt. Große Abweichungen zählen dadurch stärker. Der Trainingsfehler misst die Anpassung an bereits verwendete Daten. Der Holdout-Fehler prüft dieselbe Kurve an anderen Beobachtungen. Beide Fehler enthalten Rauschen; auch die wahre Funktion würde verrauschte Zielwerte nicht immer exakt treffen.
Ein einfaches Kontrollbeispiel ohne Rauschen ist . Eine Regression ersten Grades kann diese Beziehung exakt darstellen und erhält bis auf Rechenrundung einen Fehler von null. Unsere Sinuskurve ist dagegen kein Polynom ersten Grades. Eine Gerade verfehlt systematisch ihre Wellen, selbst wenn sehr viele Messpunkte vorliegen. Das ist Unteranpassung durch eine ungeeignete Modellform.
Grad, Rauschen und Datenmenge ausprobieren
Regression und Überanpassung – interaktiver Rechner
Trainingspunkte bestimmen die Polynomkurve; 80 unabhängig erzeugte Holdout-Punkte prüfen sie. Vergleichen Sie Grad eins bis zwölf, verschiedene Rauschstärken und 16 bis 60 Trainingspunkte.
Erhöhen Sie zuerst den Grad bei unveränderten Daten. Die verfügbaren Polynomräume sind ineinander enthalten: Ein höherer Grad kann mindestens dieselbe Kurve darstellen wie ein niedrigerer. Der kleinste Trainingsfehler kann daher mathematisch nicht größer werden; winzige Rechenabweichungen sind möglich. Für den Holdout gilt diese Zusage nicht. Eine beweglichere Kurve kann zwischen den beobachteten Stellen stark ausschlagen.
Erhöhen Sie anschließend das Rauschen. Dieselben standardisierten Zufallsziehungen werden nur stärker skaliert. Dadurch bleibt erkennbar, dass die Veränderung vom Rauschparameter stammt und nicht von einer neuen Stichprobe. Mehr Trainingspunkte erweitern wiederum die bestehende Trainingsmenge; die 80 Holdout-Punkte bleiben erhalten. Vergleichen Sie neben dem Diagramm die Fehlertabelle für sämtliche zwölf Grade.
Numerik ist Teil des Modells
Hohe Potenzen ähnlicher Zahlen können eine gewöhnliche Berechnung der Koeffizienten empfindlich machen. Die Anwendung verwendet deshalb eine Chebyshev-Basis auf dem Intervall von minus eins bis eins und eine QR-Zerlegung mit erneuter Orthogonalisierung. Das ändert nicht die darstellbaren Polynome, verbessert aber ihre numerische Berechnung. Eine versteckte Regularisierung ist nicht eingebaut.
Numerische Stabilität verhindert keine statistische Überanpassung. Eine korrekt berechnete flexible Kurve kann trotzdem schlechte Vorhersagen liefern. Auch die Anzeige begrenzt die Kurve nicht künstlich auf die Höhe der Datenpunkte: Große Ausschläge bleiben als Teil des Ergebnisses sichtbar. Außerhalb des gezeigten Eingabeintervalls sollte aus diesem Experiment keine Aussage abgeleitet werden.
Wann der Holdout kein abschließender Test mehr ist
Wenn Sie wiederholt Grade ausprobieren und den besten Holdout-Wert auswählen, benutzen Sie diese Punkte zur Modellauswahl. Sie sind dann praktisch Validierungsdaten. Für eine ehrliche abschließende Leistungsbewertung braucht es neue, bis dahin unberührte Testdaten oder ein geeignetes verschachteltes Prüfverfahren. Die Dokumentation zur Kreuzvalidierung erklärt diese Trennung und das Risiko, durch wiederholte Auswahl Informationen aus dem Test zu nutzen (scikit-learn developers 2026).
Im Betrieb kommen weitere Fragen hinzu: Entsprechen spätere Fälle derselben Verteilung? Waren Zielwerte zum Vorhersagezeitpunkt wirklich unbekannt? Gibt es zeitliche oder kundenbezogene Abhängigkeiten? Ein zufälliges Aufteilen allein beantwortet das nicht. Beginnen Sie mit einem einfachen Vergleichsmodell, einer passenden zeitlichen Trennung und einer geschäftlich sinnvollen Fehlergröße. Decision Intelligence verbindet eine solche Modellprüfung mit der Entscheidung, die sie unterstützen soll.
Häufige Fragen
Ist ein höherer Polynomgrad immer schlechter?
Nein. Ein zu einfacher Ansatz kann wichtige Struktur verfehlen. Zusätzliche Flexibilität kann zunächst helfen und später Rauschen mitlernen; die passende Komplexität hängt von Daten und Aufgabe ab.
Warum ändert sich der Holdout beim Datenregler nicht?
Die 80 Prüfpunkte werden unabhängig mit einem eigenen festen Zufallsstart erzeugt. Mehr Trainingsdaten erweitern nur die Trainingsstichprobe und lassen die Vergleichsbasis unverändert.
Quellen und weiterführende Literatur
- Onlinescikit-learn developers (2026): Underfitting vs. Overfitting.
- Onlinescikit-learn developers (2026): Cross-validation: evaluating estimator performance.
Zuletzt fachlich geprüft am 14. November 2026. Hinweise auf Fehler nehmen wir gern entgegen: impressum@nyxai.com.