Favoriser l'explicabilité des systèmes d'IA génératifs

L'explicabilité est une considération majeure pour la fiabilité de tout système d'IA. De plus en plus, il s'agit également d'une obligation légale. Pourtant, il est notoirement difficile de comprendre et d'expliquer le fonctionnement des systèmes d'IA génératifs.

Les organisations à la pointe de l'adoption responsable de l'IA consacrent de plus en plus de ressources importantes à l'explicabilité de l'IA. JP Morgan a créé et financé un Centre d'excellence en IA explicable, qui oriente ses efforts dans d'autres domaines, tels que l'équité, la responsabilité et la conformité. La DARPA, l'agence de R&D du ministère américain de la Défense, a dirigé efforts majeurs pour améliorer l'explicabilité de l'IA dans des domaines tels que la médecine et les transports.

Alors, qu'est-ce que l'explicabilité de l'IA et comment les organisations devraient-elles l'aborder pour les systèmes d'IA génératifs ?

What is the explicability ?

Le Cadre de gestion des risques liés à l'IA du NIST décrit l'explicabilité comme « une représentation des mécanismes qui sous-tendent le fonctionnement des systèmes d'IA ». La question clé en matière d'explicabilité de l'IA est donc la suivante : « Pourquoi le système d'IA a-t-il fourni un certain résultat ? » Plus précisément, pourquoi la combinaison des modèles et des données a-t-elle produit un certain résultat ?

Il existe de nombreux publics potentiels pour l'explicabilité de l'IA. Il s'agit notamment des développeurs du système d'IA, des organisations de déploiement, des opérateurs humains, des vendeurs/acheteurs, des équipes de conformité, des régulateurs, des utilisateurs finaux concernés et du public. Chacun de ces publics préfère généralement les communications à différents niveaux de détail.

Ces explications sont sous-tendues par quelque chose de plus technique : l'interprétabilité. Si l'explicabilité est le « pourquoi », l'interprétabilité est le « comment ».

Bancaire loan example

Prenez l'exemple d'une banque utilisant un système d'IA pour approuver ou refuser les demandes de prêt. Aux États-Unis, lorsqu'elle refuse un prêt, une banque doit expliquer au demandeur pourquoi la décision a été prise. Le but de cette explication est de démontrer que des informations précises ont été utilisées d'une manière conforme aux processus décisionnels de la banque. Cela donne également au demandeur la possibilité de corriger toute information inexacte ou de contester la rigueur du processus.

Un demandeur de prêt préfère probablement des informations clairement communiquées, telles que « Votre pointage de solvabilité était inférieur à 20 points au seuil d'approbation automatique et, en outre, les actifs que vous avez fournis étaient inférieurs à 8 000$ à la garantie pure et simple du prêt ».

Pourtant, pour être en mesure de fournir ce type de déclaration claire, l'équipe chargée des données et de l'IA de la banque doit comprendre comment les entrées de données et les modèles constituant le système d'IA aboutissent aux résultats (interprétabilité de l'IA). Cela nécessite à son tour de comprendre comment les modèles et les ensembles de données ont été développés et à quels types de gouvernance ils ont été soumis tout au long de leur cycle de vie.

Explicability for Generative IA

Étant donné que les systèmes d'IA générative sont basés sur des réseaux neuronaux massifs qui entraînent et traitent de grandes quantités de données, leur fonctionnement est difficile à comprendre et à expliquer. Même les développeurs des systèmes d'IA générative les plus puissants ont du mal à expliquer pourquoi leurs systèmes génèrent des sorties imprécises lorsqu'ils y sont invités de certaines manières.

Les chercheurs ont adopté plusieurs approches différentes pour résoudre ce problème, et les chercheurs ont étudié ces approches. Par exemple, Johannes Schneider de l'université du Liechtenstein a a développé une taxonomie des approches de recherche en matière d'explicabilité pour les systèmes d'IA génératifs.

Qu'est-ce que cela signifie pour les praticiens ?

Les dirigeants des organisations sont les mieux placés pour comprendre leurs cas d'utilisation, l'importance de leurs impacts et leurs exigences réglementaires. Ces considérations devraient éclairer les objectifs de leurs efforts d'explicabilité générative de l'IA. Les normes seront plus élevées lorsque les enjeux seront plus élevés, par exemple dans certains cas d'utilisation médicale et financière.

La collaboration entre les fonctions pour maintenir et développer une documentation de haute qualité tout au long du cycle de vie de chaque système d'IA est une condition préalable aux efforts d'explicabilité de l'IA. En outre, il est important de créer la capacité de surveiller et d'adopter les méthodes d'explicabilité génératives de l'IA pertinentes aux cas d'utilisation courants de l'IA au sein de l'organisation.

‍Enzai est là pour vous aider

La plateforme AI GRC d'Enzai peut aider votre entreprise à déployer l'IA conformément aux meilleures pratiques et aux réglementations, normes et cadres émergents, tels que la loi européenne sur l'IA, la loi du Colorado sur l'IA, le NIST AI RMF et la norme ISO/IEC 42001. Pour en savoir plus, contactez-nous ici.