Entscheiden & Optimieren

Bayessche Optimierung: Welchen Versuch als Nächstes?

Welche Einstellung sollten Sie als Nächstes testen, wenn jeder Versuch Zeit oder Geld kostet? Ein kleines Experiment zeigt, wie ein Gaußprozess vorhandene Beobachtungen mit gezielter Erkundung verbindet.

  • 3 Min. Lesezeit
  • Aktualisiert am
  • Redaktion smartlytics

Kurz erklärt

Bayessche Optimierung wählt neue Versuche mithilfe eines probabilistischen Ersatzmodells. Eine Akquisitionsfunktion verbindet erwartete Verbesserung mit Unsicherheit, damit teure Auswertungen gezielt eingesetzt werden können.

Interaktives Beispiel ausprobierenKostenlos · im Browser · ohne Anmeldung

Auf einen Blick

  1. Ein Gaußprozess liefert für ungetestete Einstellungen einen Mittelwert und modellabhängige Unsicherheit.
  2. Expected Improvement bewertet mögliche Verbesserung gegenüber dem bisher besten beobachteten Wert.
  3. Das Ergebnis hängt von Modellannahmen und Suchraum ab; wenige gute Versuche beweisen kein globales Optimum.

Eine Einstellung kann nur durch einen aufwendigen Versuch bewertet werden: etwa die Temperatur eines simulierten Prozesses oder ein Parameter eines Lernverfahrens. Hunderte Rasterpunkte wären möglich, aber teuer. Welcher nächste Versuch verspricht den größten Nutzen? Bayessche Optimierung beantwortet diese Frage durch ein Modell der noch unbekannten Zielfunktion.

Ein Modell statt einer vollständigen Landkarte

Nach wenigen Auswertungen kennt man Punkte (xi,yi)(x_i,y_i). Ein Gaußprozess beschreibt mögliche Funktionen, die zu diesen Beobachtungen passen. An einer noch ungetesteten Stelle liefert er einen Posterior-Mittelwert μ(x)\mu(x) und eine Standardabweichung σ(x)\sigma(x). Beobachtete Punkte beeinflussen ihre Umgebung; wie weit dieser Einfluss reicht, bestimmt unter anderem die Längenskala des Kernels.

Im Werkzeug verwenden wir einen eindimensionalen Suchraum von 0 bis 1, einen Gaußprozess mit Nullmittelwert und einen RBF-Kernel:

k(x,x′)=exp⁡(−(x−x′)22ℓ2).k(x,x')=\exp\left(-\frac{(x-x')^2}{2\ell^2}\right).

Die Längenskala ℓ\ell legt die angenommene Glattheit fest. Ein kleiner Wert erlaubt schnelle Veränderungen, ein großer verbindet weit entfernte Einstellungen stärker. Die Kovarianzmatrix wird mit einer Cholesky-Zerlegung gelöst; eine kleine Diagonalzugabe stabilisiert die Rechnung. Es handelt sich um ein tatsächlich aktualisiertes Modell, nicht um eine Folge vorgezeichneter Kurven.

Was als nächster Versuch zählt

Nur den höchsten Mittelwert zu wählen, würde unsichere Gebiete leicht übersehen. Nur die größte Unsicherheit zu wählen, könnte viele offensichtlich unattraktive Bereiche untersuchen. Expected Improvement kombiniert beide Gesichtspunkte. Für Maximierung und bisher besten Wert f∗f^* lautet die Akquisitionsfunktion

EI(x)=E[max⁡(f(x)−f∗−ξ,0)].\mathrm{EI}(x)=\E[\max(f(x)-f^*-\xi,0)].

Bei normalverteilter Vorhersage ist sie geschlossen berechenbar. Mit z=(μ−f∗−ξ)/σz=(\mu-f^*-\xi)/\sigma gilt

EI=(μ−f∗−ξ)Φ(z)+σϕ(z).\mathrm{EI}=(\mu-f^*-\xi)\Phi(z)+\sigma\phi(z).

Φ\Phi und ϕ\phi sind Verteilungsfunktion und Dichte der Standardnormalverteilung. Der Zusatz ξ\xi setzt eine Verbesserungshürde und kann stärker erkundendes Verhalten begünstigen. Die klassische EGO-Arbeit nutzt erwartete Verbesserung für teure Black-Box-Funktionen (Jones 1998).

Das vollständig bekannte Lernbeispiel

Damit die Demonstration ohne externe Systeme funktioniert, berechnet sie eine synthetische Zielfunktion:

f(x)=0,55sin⁡(10x)+0,35cos⁡(4x)+0,6x.f(x)=0{,}55\sin(10x)+0{,}35\cos(4x)+0{,}6x.

Der Optimierer erhält zunächst nur deren Werte bei 0,1, 0,5 und 0,9. Sie betragen ungefähr 0,845, −0,373 und 0,453. Die Funktion ist dem Lernprogramm natürlich bekannt, wird aber für einen Vorschlag nicht vollständig ausgewertet: Die Auswahl verwendet ausschließlich bisherige Beobachtungen und das GP-Modell. Erst ein Klick misst den vorgeschlagenen Punkt.

Bei Standardlängenskala 0,18 und ξ=0,01\xi=0{,}01 wird zunächst x=0x=0 vorgeschlagen. Dort misst die Funktion 0,35. Der erste neue Versuch verbessert also den bisherigen Rekord nicht. Das ist kein Fehler: Ein informationsreicher Versuch kann die weitere Suche unterstützen, ohne selbst der beste zu sein.

Interaktiv

Interaktiv: Bayessche Optimierung: Welchen Versuch als Nächstes?

Starten Sie mit drei Messpunkten. Jeder Klick berechnet Expected Improvement, wertet einen neuen Vorschlag aus und aktualisiert den Gaußprozess.

Was das Diagramm zeigt

Die durchgezogene Linie ist der GP-Mittelwert. Die gestrichelten Linien zeigen μ±1,96σ\mu\pm1{,}96\sigma als punktweise Modellintervalle. Sie sind kein simultanes Sicherheitsband über die gesamte Funktion. Die Punkte markieren reale Auswertungen der synthetischen Funktion; die Tabelle protokolliert jeden Versuch.

Die Akquisitionsfunktion wird an 201 gleichmäßig verteilten Kandidaten geprüft. Bereits gemessene Punkte werden ausgeschlossen. Der beste verbleibende EI-Wert bestimmt den Vorschlag. Damit ist auch die Suche nach dem Vorschlag eine Näherung: Ein besserer Punkt zwischen zwei Rasterstellen könnte unentdeckt bleiben.

Annahmen, Budget und Grenzen

Die Demonstration hat nur einen Parameter und deterministische, rauschfreie Auswertungen. Sie passt Kernelparameter nicht automatisch an und endet nach spätestens 20 Versuchen. Reale Messungen können verrauscht, langsam oder gelegentlich ungültig sein. Nebenbedingungen und sichere Grenzen müssen vor einem echten Versuch feststehen. Ein Modell darf keine gefährlichen Einstellungen allein deshalb ausprobieren, weil sie unsicher sind.

Snoek und Kollegen zeigen, wie Modellannahmen und die Behandlung von Auswertungskosten in praktischen Anwendungen relevant werden (Snoek 2012). Der Name „bayessch“ garantiert keinen Vorteil in jedem Problem. Ein einfacher Raster- oder Zufallsvergleich mit gleichem Budget bleibt eine sinnvolle Referenz.

Den eigenen Anwendungsfall eingrenzen

Notieren Sie Zielgröße, zulässige Parameterbereiche, Kosten pro Auswertung und Abbruchkriterium. Prüfen Sie, ob die Zielfunktion ausreichend stabil ist und ob ähnliche Einstellungen ähnliche Ergebnisse erwarten lassen. Für bekannte algebraische Nebenbedingungen kann mathematische Optimierung geeigneter sein; für die Entscheidung, ob weitere Daten ihren Preis wert sind, hilft der Informationswert.

Häufige Fragen

Wie unterscheidet sich das von einem Raster?

Ein Raster legt alle Einstellungen unabhängig von bisherigen Ergebnissen fest. Bayessche Optimierung aktualisiert ihr Ersatzmodell nach jeder Auswertung und entscheidet daraus über den nächsten Versuch (Jones 1998).

Ist die Unsicherheit ein garantiertes Fehlerband?

Nein. Sie gilt unter dem gewählten Gaußprozessmodell und seinen Annahmen. Kernel, Glattheit, Messrauschen und Modellanpassung beeinflussen den praktischen Erfolg (Snoek 2012).

Quellen und weiterführende Literatur

  1. PaperJones, D. R., Schonlau, M. and Welch, W. J. (1998): Efficient Global Optimization of Expensive Black-Box Functions.
  2. PaperSnoek, J., Larochelle, H. and Adams, R. P. (2012): Practical Bayesian Optimization of Machine Learning Algorithms.

Zuletzt fachlich geprüft am 14. November 2026. Hinweise auf Fehler nehmen wir gern entgegen: impressum@nyxai.com.

Von NyxAI

smartlytics ist das Wissensangebot der NyxAI GmbH.

Wir erklären hier die Methoden, mit denen wir arbeiten – offen, mit Quellen und so, dass man sie nachrechnen kann.

Entscheidungskern

NyxAI entwickelt einen Entscheidungskern (Decision Core) für Decision Intelligence, der Optimierung, Simulation, Statistik und Reinforcement Learning verbindet: Optionen vergleichen, Unsicherheit sichtbar machen, aus Ergebnissen lernen – unter menschlicher Verantwortung.

DeepSquare

Erklärbare Schach-KI mit menschlichen Spielstilen: das Testfeld von NyxAI für nachvollziehbare Entscheidungen unter Zeitdruck.