オーバーフィッティング

AIシステムがトレーニングデータ内のノイズや特異性を学習し、目に見えない新しいデータに一般化する能力を低下させるモデリングの問題。

Definition

モデルが複雑である (パラメーターが多すぎる) ため、一般的なパターンを学習するよりもトレーニング例を暗記できる場合に発生します。症状としては、トレーニングの精度は高いが、検証/テストのパフォーマンスは低いことが挙げられます。ガバナンスの実践には、定期的な相互検証、トレイン/バリデーションの損失の分岐の監視、正規化手法 (ドロップアウト、ウェイトの減衰) の適用、モデルを実稼働環境に移行する前に許容できる一般化ギャップの定義などが含まれます。

Real-World Example

自動運転AIは、シミュレーションでは 99% の検出精度を示しますが、実際のテストドライブでは 70% にすぎません。エンジニアは、オーバーフィッティングの診断、ドロップアウトレイヤーの追加、さまざまな照明条件でのトレーニングの強化、再トレーニングを行います。これにより、展開前のシミュレーションテストと実際のテストの両方で、バランスが取れた 90% の精度を達成できます。