最終更新日:
AIモデルのパフォーマンス、データのドリフト（偏り）、および運用メトリクスを継続的に追跡し、性能の低下や顕在化しつつあるリスクを検知します。
ライブオブザーバビリティパイプラインは、正確性、レイテンシ、入力分布のドリフト、公平性KPI、エラー率などのメトリクスを収集し、これらを基準となるしきい値と比較します。異常が発生すると自動アラートがトリガーされます。ガバナンスでは、監視対象、アラートのしきい値、エスカレーション手順、再学習のトリガーを定義し、監査目的ですべての監視データをログに記録します。
実際の導入事例：
あるEコマースの推奨モデルは、クリック率（CTR）とユーザー属性によるリフト効果を日々追跡しています。CTRが5%以上低下するか、または属性リフトに乖離が生じた場合、データサイエンス運用チームにアラートが送信され、チームはデータパイプラインの問題を調査するか、あるいはモデルの再トレーニングを開始してパフォーマンスを回復させます。
