ハイパーパラメータチューニング
モデルのパフォーマンスを最大化するために最適なハイパーパラメータ値を検索するプロセス (グリッド検索、ベイズ最適化など)。
Definition
ハイパーパラメータ空間を系統的に探索（グリッド、ランダム、ベイズ検索）して、精度、汎化、およびリソース使用量の最適なバランスを実現する構成を見つけます。ガバナンスのベストプラクティスには、検索範囲の定義、計算予算の制限、MLflow などのすべての実験の追跡、検証後は構成を凍結して本番環境の「ドリフト」を回避することが含まれます。
Real-World Example
NLPチームは、ベイズ最適化を使用して、トランスフォーマーの学習率、バッチサイズ、およびドロップアウト率を50回にわたって調整します。各トライアルのメトリクスとハイパーパラメーターを実験追跡ダッシュボードに記録し、保留されたテストセットで最高の F1 を達成する構成を選択し、再現可能で最適なパフォーマンスを確保します。
.svg)
