Hyperparameter-Optimierung
Der Prozess der Suche nach den optimalen Hyperparameterwerten (z. B. über Rastersuche, Bayessche Optimierung) zur Maximierung der Modellleistung.
Definition
Eine systematische Untersuchung — Raster-, Zufalls- oder Bayessche Suche — über Hyperparameterräume, um Konfigurationen zu finden, die das beste Gleichgewicht zwischen Genauigkeit, Generalisierung und Ressourcenverbrauch bieten. Zu den bewährten Methoden der Unternehmensführung gehören die Definition von Suchbereichen, die Begrenzung von Rechenbudgets, die Nachverfolgung aller Experimente in MLflow oder ähnlichem sowie das Einfrieren von Konfigurationen nach der Validierung, um eine „Drift“ bei der Produktion zu vermeiden.
Real-World Example
Ein NLP-Team verwendet die Bayessche Optimierung, um die Lernrate, die Chargengröße und die Abbruchrate eines Transformators über einen Zeitraum von 50 Versuchen zu optimieren. Sie zeichnen die Messwerte und Hyperparameter jedes Versuchs in einem Dashboard zur Versuchsverfolgung auf und wählen dann die Konfiguration aus, die bei einem ausgehaltenen Testsatz die höchste Formel 1 erreicht und so eine reproduzierbare und optimierte Leistung gewährleistet.
.svg)
