XAI メトリックス

AIによる説明の質と信頼性を評価するために使用される量的または質的な指標(特徴重要度スコア、説明の忠実度など)。

Definition

忠実度 (説明が実際のモデルの動作とどの程度一致しているか)、安定性 (同様の入力の下での説明の一貫性)、包括性 (主要な機能の網羅性)、単純さ (ユーザーにとっての簡潔さ) などの説明特性を評価する指標。ガバナンスでは、これらの指標を使用して説明方法のベンチマークを行い、受け入れ基準を設定し、時間の経過に伴う改善状況を追跡します。

Real-World Example

ある電子商取引プラットフォームの不正警告の説明は、機能アトリビューションのランキングと実際のモデルの感度との相関関係を測定して、正確性を評価します。エンドユーザーダッシュボードでは、忠実度が0.85を超える説明方法のみが承認され、調査員に信頼できるインサイトを提供することができます。