モデルモニタリング
AI モデルのパフォーマンス、データドリフト、運用指標を継続的に追跡して、劣化や新たなリスクを検出します。
Definition
ライブオブザーバビリティパイプラインは、精度、遅延、入力分布のドリフト、公平性KPI、エラー率などの指標を収集し、ベースラインの閾値と比較します。異常が発生すると自動アラートがトリガーされます。ガバナンスは、監視対象、アラート閾値、エスカレーション手順、再トレーニングトリガーを定義し、すべての監視データを監査目的で記録します。
Real-World Example
E コマースのレコメンデーションモデルでは、クリックスルー率とユーザー層の変化を毎日追跡します。クリック率が 5% 以上低下したり、ユーザー層のリフトがばらついたりすると、データサイエンス運用チームにアラートが送信され、データパイプラインの問題を調査したり、パフォーマンスを回復するためのモデル再トレーニングが開始されます。
.svg)
