用語集
更新日
ライブオブザーバビリティパイプラインは、正確性、レイテンシ、入力分布のドリフト、公平性KPI、エラー率などのメトリクスを収集し、これらを基準となるしきい値と比較します。異常が発生すると自動アラートがトリガーされます。ガバナンスでは、監視対象、アラートのしきい値、エスカレーション手順、再学習のトリガーを定義し、監査目的ですべての監視データをログに記録します。
例
あるEコマースの推奨モデルは、クリック率（CTR）とユーザー属性によるリフト効果を日々追跡しています。CTRが5%以上低下するか、または属性リフトに乖離が生じた場合、データサイエンス運用チームにアラートが送信され、チームはデータパイプラインの問題を調査するか、あるいはモデルの再トレーニングを開始してパフォーマンスを回復させます。