差異モニタリング
AI モデルの出力やパフォーマンスメトリクスの経時的な変動を追跡して、ドリフトを検出し、潜在的な劣化やリスクを推測します。
Definition
主要な指標(予測分布、機能の重要性、パフォーマンススコア)の統計的差異を計算し、それらをローリングベースラインと比較します。大幅な偏差があると、より詳細な調査を促すアラートがトリガーされます。ガバナンスは、モデルの安定性と信頼性を維持するために、許容できる変動帯域、監視頻度、自動対応手順 (データパイプラインチェック、モデル再トレーニング) を定義します。
Real-World Example
オンライン広告AIは、ユーザーセグメント間のクリックスルー分布の週ごとの変動を追跡します。差異が過去の標準偏差の 2 倍を超えると、アラートがデータフリートチームに最新のコードまたはデータ変更の有無を検査するよう促し、気付かないドリフトがキャンペーンのパフォーマンスに影響することを防ぎます。