Bayes & Statistik

Kalibrierung: Stimmen vorhergesagte Wahrscheinlichkeiten?

Ein Modell meldet 90 % Erfolgschance, aber nur sechs von zehn Fällen gelingen. Das Zuverlässigkeitsdiagramm hilft zu erkennen, ob seine Wahrscheinlichkeiten eine belastbare Grundlage für Planung und Entscheidungen sind.

  • 3 Min. Lesezeit
  • Aktualisiert am
  • Redaktion smartlytics

Kurz erklärt

Eine gut kalibrierte Prognose sagt nicht jedes Ereignis richtig voraus. Sie nennt verlässliche Wahrscheinlichkeiten: Unter vergleichbaren Fällen mit einer Vorhersage von 80 % sollte das Ereignis langfristig ungefähr achtmal von zehn eintreten.

Interaktives Beispiel ausprobierenKostenlos · im Browser · ohne Anmeldung

Auf einen Blick

  1. Trefferquote und Kalibrierung beantworten unterschiedliche Fragen.
  2. Reliability-Diagramm und Brier-Score zeigen verschiedene Aspekte der Prognosequalität.
  3. Eine Korrektur wird auf getrennten Daten bestimmt und anschließend auf bisher ungenutzten Daten geprüft.

Ein System kennzeichnet viele Vorgänge als „90 % wahrscheinlich erfolgreich“. Wenn davon später nur 60 % gelingen, ist die Zahl für eine Ressourcenentscheidung zu optimistisch. Vielleicht sortiert das System gute und schlechte Fälle trotzdem sinnvoll. Rangfolge und verlässliche Wahrscheinlichkeit sind zwei verschiedene Eigenschaften. Kalibrierung untersucht die zweite.

Eine Aussage über Gruppen von Vorhersagen

Ein einzelnes Ereignis widerlegt eine Wahrscheinlichkeitsprognose nicht. Auch ein mit 90 % erwarteter Erfolg darf gelegentlich ausbleiben. Für eine Prüfung werden viele vergleichbare Vorhersagen benötigt, die vor dem jeweiligen Ergebnis festgehalten wurden. Dann vergleicht man angegebene Wahrscheinlichkeit und tatsächlich beobachtete Häufigkeit.

Eine Prognose von stets 50 % kann für einen insgesamt ausgeglichenen Prozess kalibriert sein. Sie unterscheidet aber keine leichten von schweren Fällen. Gute Kalibrierung allein genügt also nicht für eine nützliche Prognose. Ebenso kann ein trennscharfes Modell überkonfident sein. Die Untersuchung moderner Klassifikatoren durch Guo und Kollegen macht diese Unterscheidung praktisch relevant (Guo 2017).

Das Reliability-Diagramm

Im interaktiven Beispiel werden Vorhersagen in zehn feste Wahrscheinlichkeitsbereiche eingeteilt. Für jede nichtleere Gruppe zeigt die horizontale Achse die mittlere Vorhersage und die vertikale Achse den beobachteten Erfolgsanteil. Auf der Diagonale stimmen beide überein. Ein Punkt bei (0,8; 0,6) bedeutet: durchschnittlich 80 % prognostiziert, aber 60 % beobachtet.

Die Gruppierung ist eine Darstellungshilfe. Sie kann Unterschiede innerhalb eines Bereichs verbergen. Bei wenigen Fällen schwanken die Punkte stark; eine gezackte Kurve ist nicht automatisch der Beweis eines schlechten Modells. Deshalb zeigt die Tabelle die Fallzahl jeder Gruppe. Leere Gruppen werden nicht als Erfolgsquote null dargestellt, sondern ausgelassen.

Ein Score für einzelne Prognosen

Für binäre Ergebnisse yi∈{0, 1}y_i\in\{0,\ 1\} verwenden wir den Brier-Score

BS=1n∑i=1n(pi−yi)2.\mathrm{BS}=\frac1n\sum_{i=1}^n(p_i-y_i)^2.

Kleinere Werte sind besser. Zwei sichere und richtige Prognosen, 0 für einen Misserfolg und 1 für einen Erfolg, ergeben null. Die umgekehrten sicheren Prognosen ergeben eins. Wer in beiden Fällen 0,5 angibt, erhält 0,25. Diese Beispiele legen die verwendete binäre Skalierung eindeutig fest.

Der Score ist kein reiner Kalibrierungsfehler. Sanders erläutert, dass die Güte probabilistischer Prognosen mehrere Aspekte umfasst (Sanders 1967). Ergänzend zeigt das Werkzeug die ECE: den mit Gruppengrößen gewichteten absoluten Abstand der Diagrammpunkte von der Diagonale. Ihre Größe hängt von der gewählten Einteilung ab und sollte nicht als universelle Freigabegrenze verwendet werden.

Überkonfidenz gezielt sichtbar machen

Unsere synthetische Welt besitzt bekannte Erfolgswahrscheinlichkeiten zwischen 5 % und 95 %. Für jeden Fall wird daraus ein binäres Ergebnis gezogen. Ein Überkonfidenz-Faktor streckt anschließend die Log-Odds der Vorhersage: aus einer moderaten Wahrscheinlichkeit wird eine extremere. Die Ergebnisse bleiben bei gleichen Einstellungen der Fallzahl gleich; wir vergleichen damit dieselben Fälle.

Eine Temperatur TT korrigiert diese Streckung:

pT=11+exp⁡(−logit⁡(p)/T).p_T=\frac{1}{1+\exp(-\operatorname{logit}(p)/T)}.

Bei T>1T>1 werden Wahrscheinlichkeiten weniger extrem. Im konstruierten Modell stellt eine Temperatur gleich dem Überkonfidenz-Faktor die ursprünglichen Wahrscheinlichkeiten wieder her. Das Diagramm liegt trotzdem nicht exakt auf der Diagonale, denn die Ergebnisse enthalten Stichprobenrauschen.

Interaktiv

Interaktiv: Kalibrierung: Stimmen vorhergesagte Wahrscheinlichkeiten?

Vergleichen Sie Vorhersagen und beobachtete Anteile. Fester Seed, zehn Gruppen und vollständig synthetische Fälle halten die Wirkung der Regler nachvollziehbar.

Von der Demonstration zur Prüfung im Betrieb

In echten Daten ist die richtige Temperatur nicht bekannt. Sie wird auf einem getrennten Kalibrierungsdatensatz angepasst; die endgültige Bewertung braucht weitere, bisher ungenutzte Daten. Wer denselben Datensatz zur Anpassung und zum Erfolgsnachweis nutzt, überschätzt leicht die Verbesserung. Das Beispiel lässt eine Temperatur manuell untersuchen und führt keine solche automatische Modellwahl durch.

Außerdem müssen Vorhersagezeitpunkt, Ergebnisdefinition und Beobachtungsfrist übereinstimmen. Wenn verspätete Ergebnisse fehlen, kann schon die Auswertung verzerrt sein. Prüfen Sie relevante Teilgruppen und Veränderungen über die Zeit. Eine Korrektur aus dem Vorjahr garantiert keine heutige Zuverlässigkeit.

Welche Entscheidung soll sich verbessern?

Verlässliche Wahrscheinlichkeiten sind besonders nützlich, wenn sie mit Kosten verbunden werden. Ein Informationstest oder eine Ressourcenplanung benötigt mehr als eine Rangliste. Notieren Sie deshalb neben Score und Diagramm auch die Entscheidungsschwellen und Folgen falscher Freigaben. Unsicherheit einer Kennzahl kann ergänzend mit einem geeigneten Bootstrap untersucht werden.

Häufige Fragen

Ist ein Modell mit hoher Trefferquote automatisch kalibriert?

Nein. Die bevorzugte Klasse kann häufig stimmen, während ihre angegebenen Wahrscheinlichkeiten zu extrem sind. Guo und Kollegen untersuchen diese Unterscheidung und nachträgliche Temperaturkorrekturen (Guo 2017).

Misst der Brier-Score nur Kalibrierung?

Nein. Der quadratische Prognosefehler berücksichtigt mehr als die Übereinstimmung von vorhergesagten und beobachteten Häufigkeiten. Eine nützliche Bewertung betrachtet daher auch Auflösung und Vergleichsprognosen (Sanders 1967).

Quellen und weiterführende Literatur

  1. PaperGuo, C., Pleiss, G., Sun, Y. and Weinberger, K. Q. (2017): On Calibration of Modern Neural Networks.
  2. PaperSanders, F. (1967): The Verification of Probability Forecasts.

Zuletzt fachlich geprüft am 14. November 2026. Hinweise auf Fehler nehmen wir gern entgegen: impressum@nyxai.com.

Von NyxAI

smartlytics ist das Wissensangebot der NyxAI GmbH.

Wir erklären hier die Methoden, mit denen wir arbeiten – offen, mit Quellen und so, dass man sie nachrechnen kann.

Entscheidungskern

NyxAI entwickelt einen Entscheidungskern (Decision Core) für Decision Intelligence, der Optimierung, Simulation, Statistik und Reinforcement Learning verbindet: Optionen vergleichen, Unsicherheit sichtbar machen, aus Ergebnissen lernen – unter menschlicher Verantwortung.

DeepSquare

Erklärbare Schach-KI mit menschlichen Spielstilen: das Testfeld von NyxAI für nachvollziehbare Entscheidungen unter Zeitdruck.