Last updated:
AIの出力およびプロセスをベンチマークやテストケースに照らして継続的に検証し、欠陥、バイアス事象、またはポリシー違反を検出します。
サンプル出力を既知のグラウンドトゥルース事例、ポリシー違反検出器、公平性チェックと照合して検証する継続的な実践です。QCパイプラインは本番環境と並行して稼働し、異常（例：想定外のエラーパターン）を検知してフラグを付け、課題を不具合追跡システムに連携します。ガバナンスでは、システムの整合性を高水準で維持するために、QCのサンプリング率、検証基準、是正ワークフローを定義します。
Real world example:
コンテンツモデレーションAIの品質管理システムは、毎日フラグ付けされた投稿の1%をサンプリングし、人間モデレーターの判定結果と比較します。乖離が確認され、エラー率が5%を超えた場合には即時に再学習を実施し、自動化された基準と人間の基準の継続的な整合性を確保します。
