AIモデルの意思決定ロジックをステークホルダーや監査人に理解可能にする技術とドキュメント。
特徴量の重要度、意思決定ルール、または代替的な結果シナリオを明らかにするために、内在的手法（解釈可能なモデル）と事後的手法（SHAP、LIME、カウンターファクチュアル）を組み合わせて活用します。ガバナンスでは、モデルと対象読者に適した説明可能性手法を選定し、説明をユーザーインターフェースまたはコンプライアンス報告に組み込み、さらに説明がモデルの挙動を正確に反映していることを検証することが求められます。
クレジットカード不正検知モデルは、各アラートに対してSHAPによる説明を提供します：「主な要因：通常と異なる場所、非典型的な取引金額。」不正分析担当者はこれらの説明を活用してアラートのトリアージをより効果的に行い、規制当局はコンプライアンス監査の際にSHAPレポートを確認します。
