ジェネラライゼーション
トレーニング例を暗記するのではなく、基礎となるパターンをキャプチャすることで、目に見えない新しいデータに対して優れたパフォーマンスを発揮するAIモデルの能力。
Definition
効果的なモデルとオーバーフィットモデルを区別するコアプロパティ。汎化は、適切なモデル容量、正則化手法 (ドロップアウト、ウェイト減衰)、データ拡張、ロバスト検証 (相互検証、ホールドアウトセット) によって実現されます。ガバナンスには、一般化のギャップ (トレーニングエラーと検証エラー) の監視、許容可能なしきい値の設定、本番データのパフォーマンスがテスト結果と大きく異なる場合のモデルの再トレーニングが含まれます。
Real-World Example
ある画像分類チームによると、モデルのトレーニング精度は 99% ですが、テストの精度は 75% です。データ拡張 (回転、カラージッター) を導入し、ドロップアウトレイヤーを適用し、再トレーニングを行い、約 90% のバランスの取れたトレイン/テスト精度を達成し、展開前の汎化が改善されたことを実証しました。