Explicabilité de l'IA

La mesure dans laquelle les mécanismes internes d'un système d'IA peuvent être compris et interprétés par les humains.

Définition

Suite de méthodes (modèles de substitution, attribution de fonctionnalités, données contrefactuelles) et de processus (documentation, tableaux de bord conviviaux) qui rendent les décisions relatives à l'IA transparentes, afin que les parties prenantes puissent comprendre, contester et faire confiance aux résultats.

Exemple concret

Un modèle de notation de crédit utilise le SHAP pour mettre en évidence les facteurs financiers (par exemple, un « faible historique de crédit ») qui ont influencé un refus. Les agents de crédit examinent ces explications parallèlement à la recommandation de l'IA, ce qui permet aux candidats de corriger les inexactitudes et de demander un examen humain.