ノイズインジェクション

学習データまたはモデルパラメータにランダムな摂動を意図的に導入して、堅牢性を高め、敵対的な操作を防ぎます。

Definition

トレーニング中に入力、隠れたアクティベーション、またはウェイトにガウスノイズを追加する正則化戦略。特定のパターンへの過度な依存を防ぎ、入力の摂動に対する回復力を高めることでモデルの一般化に役立ちます。ガバナンスには、パフォーマンスへの影響を監視し、発生するノイズレベルが導入シナリオと一致していることを確認し、監査と再トレーニングの一貫性を保つためにノイズパラメータを文書化する必要があります。

Real-World Example

音声認識AIを背景の乱れから強化するために、ある音声アシスタント開発者は、さまざまなレベルのホワイトノイズをトレーニングオーディオに注入しています。トレーニング後のテストでは、ノイズを注入しなかった場合の 10% と比較して、実際のノイズ条件下では単語の誤り率がわずか 2% しか低下せず、堅牢性が向上したことが実証されています。