Entscheiden & Optimieren
Bayessche Optimierung: Welchen Versuch als Nächstes?
Welche Einstellung sollten Sie als Nächstes testen, wenn jeder Versuch Zeit oder Geld kostet? Ein kleines Experiment zeigt, wie ein Gaußprozess vorhandene Beobachtungen mit gezielter Erkundung verbindet.
Kurz erklärt
Bayessche Optimierung wählt neue Versuche mithilfe eines probabilistischen Ersatzmodells. Eine Akquisitionsfunktion verbindet erwartete Verbesserung mit Unsicherheit, damit teure Auswertungen gezielt eingesetzt werden können.
Interaktives Beispiel ausprobierenKostenlos · im Browser · ohne Anmeldung
Auf einen Blick
- Ein Gaußprozess liefert für ungetestete Einstellungen einen Mittelwert und modellabhängige Unsicherheit.
- Expected Improvement bewertet mögliche Verbesserung gegenüber dem bisher besten beobachteten Wert.
- Das Ergebnis hängt von Modellannahmen und Suchraum ab; wenige gute Versuche beweisen kein globales Optimum.
Eine Einstellung kann nur durch einen aufwendigen Versuch bewertet werden: etwa die Temperatur eines simulierten Prozesses oder ein Parameter eines Lernverfahrens. Hunderte Rasterpunkte wären möglich, aber teuer. Welcher nächste Versuch verspricht den größten Nutzen? Bayessche Optimierung beantwortet diese Frage durch ein Modell der noch unbekannten Zielfunktion.
Ein Modell statt einer vollständigen Landkarte
Nach wenigen Auswertungen kennt man Punkte . Ein Gaußprozess beschreibt mögliche Funktionen, die zu diesen Beobachtungen passen. An einer noch ungetesteten Stelle liefert er einen Posterior-Mittelwert und eine Standardabweichung . Beobachtete Punkte beeinflussen ihre Umgebung; wie weit dieser Einfluss reicht, bestimmt unter anderem die Längenskala des Kernels.
Im Werkzeug verwenden wir einen eindimensionalen Suchraum von 0 bis 1, einen Gaußprozess mit Nullmittelwert und einen RBF-Kernel:
Die Längenskala legt die angenommene Glattheit fest. Ein kleiner Wert erlaubt schnelle Veränderungen, ein großer verbindet weit entfernte Einstellungen stärker. Die Kovarianzmatrix wird mit einer Cholesky-Zerlegung gelöst; eine kleine Diagonalzugabe stabilisiert die Rechnung. Es handelt sich um ein tatsächlich aktualisiertes Modell, nicht um eine Folge vorgezeichneter Kurven.
Was als nächster Versuch zählt
Nur den höchsten Mittelwert zu wählen, würde unsichere Gebiete leicht übersehen. Nur die größte Unsicherheit zu wählen, könnte viele offensichtlich unattraktive Bereiche untersuchen. Expected Improvement kombiniert beide Gesichtspunkte. Für Maximierung und bisher besten Wert lautet die Akquisitionsfunktion
Bei normalverteilter Vorhersage ist sie geschlossen berechenbar. Mit gilt
und sind Verteilungsfunktion und Dichte der Standardnormalverteilung. Der Zusatz setzt eine Verbesserungshürde und kann stärker erkundendes Verhalten begünstigen. Die klassische EGO-Arbeit nutzt erwartete Verbesserung für teure Black-Box-Funktionen (Jones 1998).
Das vollständig bekannte Lernbeispiel
Damit die Demonstration ohne externe Systeme funktioniert, berechnet sie eine synthetische Zielfunktion:
Der Optimierer erhält zunächst nur deren Werte bei 0,1, 0,5 und 0,9. Sie betragen ungefähr 0,845, −0,373 und 0,453. Die Funktion ist dem Lernprogramm natürlich bekannt, wird aber für einen Vorschlag nicht vollständig ausgewertet: Die Auswahl verwendet ausschließlich bisherige Beobachtungen und das GP-Modell. Erst ein Klick misst den vorgeschlagenen Punkt.
Bei Standardlängenskala 0,18 und wird zunächst vorgeschlagen. Dort misst die Funktion 0,35. Der erste neue Versuch verbessert also den bisherigen Rekord nicht. Das ist kein Fehler: Ein informationsreicher Versuch kann die weitere Suche unterstützen, ohne selbst der beste zu sein.
Interaktiv: Bayessche Optimierung: Welchen Versuch als Nächstes?
Starten Sie mit drei Messpunkten. Jeder Klick berechnet Expected Improvement, wertet einen neuen Vorschlag aus und aktualisiert den Gaußprozess.
Was das Diagramm zeigt
Die durchgezogene Linie ist der GP-Mittelwert. Die gestrichelten Linien zeigen als punktweise Modellintervalle. Sie sind kein simultanes Sicherheitsband über die gesamte Funktion. Die Punkte markieren reale Auswertungen der synthetischen Funktion; die Tabelle protokolliert jeden Versuch.
Die Akquisitionsfunktion wird an 201 gleichmäßig verteilten Kandidaten geprüft. Bereits gemessene Punkte werden ausgeschlossen. Der beste verbleibende EI-Wert bestimmt den Vorschlag. Damit ist auch die Suche nach dem Vorschlag eine Näherung: Ein besserer Punkt zwischen zwei Rasterstellen könnte unentdeckt bleiben.
Annahmen, Budget und Grenzen
Die Demonstration hat nur einen Parameter und deterministische, rauschfreie Auswertungen. Sie passt Kernelparameter nicht automatisch an und endet nach spätestens 20 Versuchen. Reale Messungen können verrauscht, langsam oder gelegentlich ungültig sein. Nebenbedingungen und sichere Grenzen müssen vor einem echten Versuch feststehen. Ein Modell darf keine gefährlichen Einstellungen allein deshalb ausprobieren, weil sie unsicher sind.
Snoek und Kollegen zeigen, wie Modellannahmen und die Behandlung von Auswertungskosten in praktischen Anwendungen relevant werden (Snoek 2012). Der Name „bayessch“ garantiert keinen Vorteil in jedem Problem. Ein einfacher Raster- oder Zufallsvergleich mit gleichem Budget bleibt eine sinnvolle Referenz.
Den eigenen Anwendungsfall eingrenzen
Notieren Sie Zielgröße, zulässige Parameterbereiche, Kosten pro Auswertung und Abbruchkriterium. Prüfen Sie, ob die Zielfunktion ausreichend stabil ist und ob ähnliche Einstellungen ähnliche Ergebnisse erwarten lassen. Für bekannte algebraische Nebenbedingungen kann mathematische Optimierung geeigneter sein; für die Entscheidung, ob weitere Daten ihren Preis wert sind, hilft der Informationswert.
Häufige Fragen
Wie unterscheidet sich das von einem Raster?
Ein Raster legt alle Einstellungen unabhängig von bisherigen Ergebnissen fest. Bayessche Optimierung aktualisiert ihr Ersatzmodell nach jeder Auswertung und entscheidet daraus über den nächsten Versuch (Jones 1998).
Ist die Unsicherheit ein garantiertes Fehlerband?
Nein. Sie gilt unter dem gewählten Gaußprozessmodell und seinen Annahmen. Kernel, Glattheit, Messrauschen und Modellanpassung beeinflussen den praktischen Erfolg (Snoek 2012).
Quellen und weiterführende Literatur
- PaperJones, D. R., Schonlau, M. and Welch, W. J. (1998): Efficient Global Optimization of Expensive Black-Box Functions.
- PaperSnoek, J., Larochelle, H. and Adams, R. P. (2012): Practical Bayesian Optimization of Machine Learning Algorithms.
Zuletzt fachlich geprüft am 14. November 2026. Hinweise auf Fehler nehmen wir gern entgegen: impressum@nyxai.com.