Interaktiver Explainer
Interaktiv: Kalibrierung: Stimmen vorhergesagte Wahrscheinlichkeiten?
Eine gut kalibrierte Prognose sagt nicht jedes Ereignis richtig voraus. Sie nennt verlässliche Wahrscheinlichkeiten: Unter vergleichbaren Fällen mit einer Vorhersage von 80 % sollte das Ereignis langfristig ungefähr achtmal von zehn eintreten.
Interaktiv: Kalibrierung: Stimmen vorhergesagte Wahrscheinlichkeiten?
Verändern Sie Fallzahl, Überkonfidenz und Korrekturtemperatur. Die synthetischen Ergebnisse werden lokal mit einem festen Zufallsstart erzeugt.
Die Anzeige lesen
Die gestrichelte Diagonale bedeutet Übereinstimmung von Vorhersage und beobachteter Häufigkeit. Die Punkte fassen zehn feste Wahrscheinlichkeitsgruppen zusammen. In der Tabelle stehen Fallzahlen und beide Anteile; leere Gruppen erscheinen nicht. Kleine Gruppen können deutlich von der Diagonale abweichen, obwohl die zugrunde liegenden Wahrscheinlichkeiten stimmen.
Der Brier-Score bewertet den mittleren quadratischen Fehler einzelner Prognosen. ECE fasst die gruppierten Abstände zusammen. Beide sind keine Trefferquote. Die angegebenen Zahlen stammen ausschließlich aus der synthetischen Demonstration und sind kein Qualitätsmaß für ein reales Produkt.
Drei Experimente
- Überkonfidenz: Lassen Sie die Korrekturtemperatur bei 1 und erhöhen Sie den Überkonfidenz-Faktor. Die Vorhersagen werden extremer, obwohl dieselben Fälle beurteilt werden.
- Die bekannte Korrektur: Stellen Sie beide Faktoren auf 2. Die Konstruktion stellt nun die ursprünglichen Modellwahrscheinlichkeiten wieder her; die beobachteten Punkte bleiben durch Zufall unregelmäßig.
- Mehr Fälle: Wechseln Sie zwischen 100 und 2.000 Fällen. Achten Sie besonders auf die Fallzahlen in den Randgruppen und darauf, wie die Kurve stabiler oder unruhiger wirkt.
„Zurücksetzen“ wählt 500 Fälle, Faktor 2 und Temperatur 1. In echten Anwendungen müsste die Temperatur auf getrennten Daten bestimmt werden. Das Werkzeug macht dieses Prinzip sichtbar, trainiert aber kein Modell mit Ihren Daten. Mehr dazu im Artikel zur Kalibrierung.