L’explicabilité est un élément majeur de la fiabilité de tout système d’IA. De plus en plus, elle constitue également une exigence légale. Pourtant, il est notoirement difficile de comprendre et d’expliquer le fonctionnement des systèmes d’IA générative.

Les organisations à la pointe de l’adoption responsable de l’IA consacrent de plus en plus d’importantes ressources à l’explicabilité de l’IA. JP Morgan a créé et doté en ressources un Centre d’excellence en IA explicable, qui alimente ses initiatives dans d’autres domaines, tels que l’équité, la responsabilité et la conformité. La DARPA, l’agence de R&D du département de la Défense des États-Unis, a conduit d’importants efforts pour faire progresser l’explicabilité de l’IA dans des domaines tels que la médecine et les transports.

Alors, qu’est-ce que l’explicabilité de l’IA, et comment les organisations devraient-elles l’aborder pour les systèmes d’IA générative ?

Qu’est-ce que l’explicabilité ?

Le Cadre de gestion des risques liés à l’IA du NIST décrit l’explicabilité comme « une représentation des mécanismes sous-jacents au fonctionnement des systèmes d’IA ». La question clé en matière d’explicabilité de l’IA est donc : « Pourquoi le système d’IA a-t-il produit un certain résultat ? » Plus précisément, pourquoi la combinaison des modèles et des données a-t-elle produit un certain résultat ?

Il existe de nombreux publics potentiels pour l’explicabilité de l’IA. Parmi eux figurent les développeurs du système d’IA, les organisations qui le déploient, les opérateurs humains, les vendeurs/acheteurs, les équipes conformité, les régulateurs, les utilisateurs finaux concernés et le grand public. Chacun de ces publics privilégie généralement un niveau de détail différent.

Sous-jacent à ces explications se trouve un élément plus technique – l’interprétabilité. Si l’explicabilité répond au « pourquoi », l’interprétabilité répond au « comment ».

Exemple de prêt bancaire

Prenons l’exemple d’une banque utilisant un système d’IA pour approuver ou refuser des demandes de prêt. Aux États-Unis, lorsqu’elle refuse un prêt, une banque doit fournir au demandeur une explication sur les raisons de la décision. L’objectif de cette explication est de démontrer que des informations exactes ont été utilisées d’une manière conforme aux processus décisionnels de la banque. Elle donne également au demandeur la possibilité de corriger toute information inexacte ou de contester la rigueur du processus.

Un demandeur de prêt préférera probablement des informations clairement formulées, telles que « Votre score de crédit était inférieur de 20 points au seuil d’approbation automatique et, en outre, les actifs que vous avez fournis étaient inférieurs de 8 000 dollars au montant nécessaire pour obtenir le prêt sans condition. »

Cependant, pour être en mesure de fournir une telle déclaration claire, l’équipe données et IA de la banque doit comprendre comment les entrées de données et les modèles constituant le système d’IA aboutissent aux résultats (interprétabilité de l’IA). Cela exige, à son tour, de comprendre comment les modèles et les ensembles de données ont été développés et à quels types de gouvernance ils ont été soumis tout au long de leur cycle de vie.

L’explicabilité pour l’IA générative

Comme les systèmes d’IA générative reposent sur d’immenses réseaux neuronaux qui s’entraînent et traitent de vastes volumes de données, leur fonctionnement est difficile à comprendre et à expliquer. Même les développeurs des systèmes d’IA générative les plus puissants peinent à expliquer pourquoi leurs systèmes génèrent des sorties spécifiques inexactes lorsqu’ils sont sollicités d’une certaine manière.

Les chercheurs ont adopté plusieurs approches différentes pour traiter ce problème, et des universitaires ont passé ces approches en revue. Par exemple, Johannes Schneider, de l’Université du Liechtenstein, a développé une taxonomie des approches de recherche relatives à l’explicabilité pour les systèmes d’IA générative.

Qu’est-ce que cela signifie pour les praticiens ?

Les dirigeants au sein des organisations connaissent le mieux leurs cas d’usage, la portée de leurs impacts et leurs exigences réglementaires. Ces considérations devraient orienter les objectifs de leurs initiatives d’explicabilité de l’IA générative. Les exigences seront plus élevées lorsque les enjeux le sont davantage, comme dans certains cas d’usage médicaux et financiers.

La collaboration entre les fonctions afin de maintenir et de développer une documentation de haute qualité tout au long du cycle de vie de chaque système d’IA est un préalable aux initiatives d’explicabilité de l’IA. En outre, il est important de créer la capacité de surveiller et d’adopter les méthodes d’explicabilité de l’IA générative pertinentes pour les cas d’usage courants de l’organisation.

‍Enzai est là pour vous aider

La plateforme de gouvernance, de risque et de conformité (GRC) de l’IA d’Enzai peut aider votre entreprise à déployer l’IA conformément aux meilleures pratiques ainsi qu’aux réglementations, normes et cadres émergents, tels que l’EU AI Act, le Colorado AI Act, le NIST AI RMF et l’ISO/IEC 42001. Pour en savoir plus, contactez-nous ici.

Enzai est la plateforme de gouvernance de l’IA d’entreprise de référence, conçue pour aider les organisations à passer d’une politique abstraite à une supervision opérationnelle. Notre plateforme de gestion des risques liés à l’IA fournit l’infrastructure spécialisée nécessaire pour gérer la gouvernance de l’IA agentique, maintenir un inventaire complet de l’IA et garantir la conformité à l’EU AI Act. En automatisant des workflows complexes, Enzai permet aux entreprises de développer l’adoption de l’IA en toute confiance tout en restant alignées sur des normes internationales telles que l’ISO 42001 et NIST.