Matrice jacobienne
Dans l'explicabilité de l'IA, la matrice de toutes les dérivées partielles du premier ordre des sorties d'un modèle par rapport à ses entrées, est utilisée pour évaluer la sensibilité et l'importance des caractéristiques.
Définition
Outil mathématique qui quantifie la façon dont de légères variations de chaque dimension d'entrée affectent chaque dimension de sortie. Dans les réseaux de neurones, il peut être utilisé pour calculer des cartes de saillance ou mesurer la sensibilité locale. La gouvernance utilise des métriques basées sur la jacobie pour identifier les vulnérabilités (par exemple, la sensibilité contradictoire) et pour générer des explications mettant en évidence les caractéristiques d'entrée qui influencent le plus une décision donnée.
Exemple concret
Dans une IA d'imagerie médicale, les ingénieurs calculent le jacobien pour chaque pixel en fonction de la probabilité de « tumeur ». Les régions de haute magnitude de la carte de saillance révèlent quelles zones de l'image déterminent le diagnostic, ce qui permet aux radiologues de vérifier que le modèle se concentre sur des caractéristiques anatomiques plausibles plutôt que sur des artefacts.
.svg)
