AIモデルのパフォーマンス、データのドリフト、運用指標を継続的に監視し、劣化や新たなリスクを検出します。
ライブ・オブザーバビリティ・パイプラインは、メトリクス（精度、遅延、入力分布ドリフト、公平性KPI、エラー率）を収集し、ベースラインしきい値と比較します。異常が発生した場合には、自動アラートがトリガーされます。ガバナンスでは、監視対象、アラートしきい値、エスカレーション手順、再学習のトリガーを定義するとともに、監査目的ですべての監視データを記録します。
EC向けレコメンデーションモデルは、クリック率（CTR）およびユーザー属性別リフトを日次で追跡しています。CTRが5%を超えて低下した場合、または属性別リフトに乖離が生じた場合には、Data Science Opsチームにアラートが送信されます。同チームは、パフォーマンスを回復するために、データパイプライン上の問題を調査するか、モデルの再学習を開始します。
