用語集
更新日
監視すべき対象とは？
対象となるのは4つのレイヤーですが、ほとんどのプログラムでは第1のレイヤーしかカバーされていません。パフォーマンスは、システムが存在する目的である精度、エラー率、およびビジネス成果を追跡します。データは入力を追跡し、モデルの劣化よりも多くのインシデントの原因となる、分布のシフト、スキーマの変更、アップストリームのパイプラインの断絶を監視します。ビヘイビア（振る舞い）は、システムが生成または実行するものを追跡します。これには、生成AIシステムにおける出力の品質、拒否率、ハルシネーション（幻覚）率や、エージェントが実際に実行したアクションが含まれます。コントロールは、ガバナンス管理が機能し続けているか（人間のレビューが行われているか、エスカレーションが実行されているか、ログの記録が完全かなど）を追跡します。
ドリフトとは何か、どの種類が重要なのか？
ドリフトとは、モデルが構築された際の条件と、現在稼働している条件との乖離のことです。データドリフトは入力分布の変化であり、成果のラベルを必要としないため、比較的容易に検出できます。コンセプトドリフトは、入力と正解の間の根底にある関係の変化です。これは、成果が判明して初めて確認できるため検出が困難であり、与信、保険、臨床などの現場では、成果が判明するまでに数か月かかることがよくあります。実用的なアプローチとしては、先行指標としてデータドリフトのアラートを設定し、より緩やかなサイクルで成果に照らし合わせて検証することです。
生成AIシステムと自律型エージェントシステムで、監視はどう異なるのか？
従来の精度指標は適用できません。生成AIシステムには単一の正解出力が存在しないため、監視は、評価基準に対するサンプリング評価、ソース資料に対する根拠性（グラウンデッドネス）の検証、拒否率や安全性指標、およびユーザーのフィードバックシグナルへと移行します。エージェントの場合、重要な一連の指標はビヘイビアに関するものです。すなわち、どのツールが呼び出されたか、エスカレーションの閾値を何回超えたか、後にいくつのアクションが取り消しまたは修正されたか、エージェントが許可された範囲外の操作を試みたかどうか、などです。ブロックされたアクションの割合の上昇は、インシデントに発展するはるか手前でガバナンス上のシグナルとなります。
なぜ規制当局は重視するのか？
デプロイ後の監視は「推奨される取り組み」ではなく、明確な義務です。EU AI Actは、高リスクシステムの提供者に対し、市販後監視システムの運用と重大なインシデントの報告を義務付けています。NIST AI Risk Management Frameworkは、その「測定（Measure）」および「管理（Manage）」機能において継続的な測定を位置づけています。モデルリスク管理の監督官庁は、長年にわたり継続的なパフォーマンス監視を求めてきました。いずれのケースにおいても、監査で求められるのはエビデンスです。何を監視したか、どのような閾値を適用したか、何がトリガーされたか、そしてそれに対してどのような対策を講じたか、という実績です。
監視プログラムを機能させる要因とは？
デプロイ前に定義され、システムに対して記録された閾値。これにより、アラートに合意された意味を持たせることができます。持ち回りの当番ではなく、特定の担当者に割り当てられたオーナーシップ。ダッシュボードが誰にも開かれないという一般的な失敗を避けるため、アクションを起こせる適切な担当者にルーティングされるアラート。すべてのシステムを一律に監視すると、チームが疲弊し、重要なシステムの監視が不十分になるため、リスク階層に比例した監視範囲の設定。そして、監督官庁が求めるエビデンスはダッシュボードの現在の状態ではなく「履歴」であるため、監視記録そのものの保存が重要となります。
例
ある融資企業は、3つのサイクルで与信意思決定モデルを監視しています。日次では、入力データの分布をトレーニング時の基準値（ベースライン）と比較し、特徴量が合意されたしきい値を超えて変化した場合にはアラートを発します。これにより、上流の信用情報機関のファイル形式の変更を1日以内に検知できます。月次では、保護された特性ごとの承認率を、承認時に設定された公平性のしきい値と照らし合わせてレビューします。四半期ごとには、結果が確定するにつれて、予測値を実際の債務不履行と照らし合わせて検証します。これは、コンセプトドリフトを可視化する唯一の方法です。各しきい値、アラート、および対応策はインベントリ内のシステムに記録されるため、規制当局からモデルが依然として使用に適していると判断した根拠を問われた際にも、単なる主張ではなく、日付が記録された確証をもって回答することができます。