ヤコビアンマトリックス
AIによる説明可能性では、モデルのすべての出力とその入力値の一次偏導関数の行列を、感度と特徴量の重要性を評価するために使用されます。
Definition
各入力次元のわずかな変化が各出力次元にどのように影響するかを定量化する数学ツール。ニューラルネットワークでは、顕著性マップの計算や局所感度の測定に使用できます。ガバナンスでは、ヤコビアンに基づく指標を使用して脆弱性 (敵対的感受性など) を特定し、どの入力機能が特定の意思決定に最も影響するかを強調した説明を生成します。
Real-World Example
医用画像処理AIでは、エンジニアが「腫瘍」の確率を基準にして各ピクセルのヤコビアンを計算します。顕著性マップ上のマグニチュードの高い領域は、どの画像領域が診断の根拠となるかを明らかにし、放射線科医は、モデルが人工物ではなくもっともらしい解剖学的特徴に焦点を当てていることを確認するのに役立ちます。
.svg)
