Nous sommes ravis de partager les enseignements du panel d'experts de notre récent webinaire, composé de Connor Dunlop (CD), responsable des politiques publiques européennes à l'Ada Lovelace Institute ; Martin Koder (MK), responsable de la gouvernance de l'IA chez SWIFT ; Chloe Autio (CA), conseillère en politiques et gouvernance de l'IA ; et Ryan Donnelly (RD), PDG d'Enzai, une solution de gouvernance de l'IA. 

‍

Les réponses des panélistes ont été éditées par souci de concision et de clarté. 

‍

Après la dernière série de discussions sur la loi européenne sur l'IA (EU AI Act) la semaine dernière, quels sont selon vous les principaux points de friction et quels développements espérez-vous voir de la part de l'UE l'année prochaine ? 

‍

CD : C'est un moment crucial pour Bruxelles et l'UE : il y a un accord politique sur la loi sur l'IA. Cela marquerait la première réglementation horizontale de l'IA au monde. C'était un grand moment. J'espère qu'il n'y aura pas trop de points de friction, mais nous en verrons certains dans la rédaction technique à venir. Mais avant de parler des points de friction et des développements pour l'année prochaine, je voudrais mentionner brièvement pourquoi la loi sur l'IA est importante et pourquoi nous devrions nous réjouir de cet accord politique. Comme je l'ai mentionné, il s'agirait de la première réglementation horizontale de l'IA au monde. Et c'est intéressant car ils vont en fait interdire l'utilisation de certains systèmes d'IA. L'identification biométrique à distance en temps réel dans les espaces publics serait complètement interdite, par exemple, avec quelques exemptions pour l'application de la loi. L'accent de cette semaine a été mis sur l'étendue de cette exemption. 

‍

Les systèmes d'IA à haut risque – selon la Commission européenne – pourraient représenter 5 à 15 % des systèmes. Cela engloberait de nombreux cas d'usage du secteur public, par exemple dans le système judiciaire ou l'application de la loi, ainsi que d'autres secteurs à fort impact : l'éducation, la santé, etc. La loi fixera des règles concernant la gestion des risques, la gouvernance des données, en veillant à ce que nous conservions une surveillance humaine.  Il pourrait y avoir une nouvelle catégorie, tout juste approuvée la semaine dernière – nous savons que le projet de loi classe les systèmes en systèmes interdits, systèmes à haut risque et systèmes à faible risque, et maintenant une catégorie de « risque systémique » a été introduite. Cette catégorie est destinée aux modèles d'IA à usage général. C'est là qu'il pourrait y avoir un point de friction – spécifiquement, le seuil de calcul pour classer un système d'IA comme présentant des risques systémiques. À l'heure actuelle, ce seuil est – selon notre institut – assez élevé. Le seuil proposé de 10^25 FLOPs ne concerne qu'un seul modèle sur le marché, le GPT-4. Gemini de Google Deepmind pourrait également être concerné, mais ce n'est pas encore clair.

‍

Sur la question de ce qui est à venir en 2024, le premier trimestre de l'année sera encore axé sur la rédaction du langage technique de la législation. Les parties prenantes tenteront toujours d'influencer ce processus – les considérants de la loi sur l'IA et la clarification de ce que dit le texte juridique seront cruciaux. Ce travail ne saurait être négligé au début de l'année prochaine. Un développement potentiellement intéressant est l'accord sur un code de pratique pour les modèles d'IA à usage général systémique. Initialement, cela prendra la forme d'orientations non contraignantes pour les fournisseurs de modèles d'usage général. C'est une voie pour la société civile de s'impliquer, ce qui est très important. À partir du deuxième trimestre de l'année prochaine probablement, l'accent sera mis sur le code de pratique. Si cela est bien fait, cela pourrait combler le déficit démocratique du processus de normalisation. Le dernier point à souligner serait le travail de l'UE sur une directive sur la responsabilité en matière d'IA – même s'il sera interrompu en raison des élections européennes de l'année prochaine.

‍

Nous avons discuté du thème de la sécurité de l'IA dans le contexte européen. Et pendant un certain temps, les États-Unis n'ont pas joué un rôle de premier plan en matière de réglementation, mais cela a changé aujourd'hui avec le décret du président Biden sur l'IA. Quelle est l'ambiance aux États-Unis ? Comment voyez-vous la mise en œuvre de ce décret au cours de l'année à venir ?

‍

CA : Pour résumer rapidement, le décret est paru le 30 octobre, juste avant le Sommet sur la sécurité de l'IA au Royaume-Uni. Ce décret est le plus long et le plus complet de l'administration Biden à ce jour – avec 111 pages – lié aux technologies ou à la politique numérique. Cela démontre vraiment à quel point l'administration est déterminée et proactive sur cette question.

‍

Le décret mobilise 50 entités différentes, le département du Commerce dirigeant une grande partie de la mise en œuvre, en particulier le NIST, l'Institut national des normes et de la technologie, dont vous avez peut-être entendu parler dans le cadre de ses travaux sur le cadre de gestion des risques liés à l'IA, qui est un cadre de normes volontaires de premier plan pour la gouvernance de l'IA. Il a également créé plus de 150 nouvelles directives, à savoir des actions, des rapports, des conseils, des règles ou des politiques, les agences créant leurs propres rapports, à mettre en œuvre dans un délai de 30 à 365 jours. En fin de compte, il y a énormément de travail à faire ici. Et l'accueil a été vraiment très positif.

‍

Lors de mes discussions avec les membres du Capitole – ainsi qu'avec l'administration et le secteur industriel – j'ai constaté un grand enthousiasme pour la feuille de route et la voie tracée par le décret, et beaucoup de curiosité quant à sa mise en œuvre. 

‍

Cela diffère des décrets précédents, en particulier de celui de l'administration Trump sur l'IA de confiance. De nombreuses directives de ce décret n'ont pas tout à fait été menées à bien. Et certaines d'entre elles comprennent, vous savez, le catalogage des cas d'usage de l'IA, l'élaboration de différents types d'orientations sur la gestion des risques pour différentes agences, l'Office de gestion et du budget créant un mémo avec des orientations sur la manière d'adopter et de mettre en œuvre l'IA de manière responsable. Rien de tout cela n'a été finalisé. Et donc je pense qu'avec ce décret, le ton et la teneur, nous verrons beaucoup plus d'attention portée à la mise en œuvre, et une approche pangouvernementale pour y parvenir. 

‍

Il est important de comprendre qu'avant la publication du décret, le gouvernement américain effectuait déjà un travail important sur la gouvernance de l'IA. S'il est vrai que le Congrès n'a pas adopté de loi omnibus ou de loi horizontale sur la gouvernance de l'IA comme nous l'avons vu dans l'UE, de nombreuses agences au sein du gouvernement (l'EEOC, la Commission pour l'égalité des chances en matière d'emploi ; le NIST lui-même avec le cadre de gestion des risques liés à l'IA ; le CFPB, le Bureau de protection financière des consommateurs) ont publié différents types d'orientations pour remédier aux préjudices de l'IA qui sont bien connus. Le décret s'appuie sur l'excellent travail que réalisaient bon nombre de ces agences. Ce travail a contribué à orienter la direction de ce décret.

‍

Le décret aborde en réalité un large éventail de questions : il se concentre sur la sécurité nationale en ce qui concerne l'accès aux modèles et la protection contre les risques futurs. L'accent est également mis sur la confidentialité, la protection des consommateurs et la propriété intellectuelle. 

‍

Dans ce contexte, les agences sont tenues de cataloguer les différentes sources de données, y compris celles des courtiers de données, afin de bien comprendre les implications en matière de confidentialité – c'est-à-dire l'origine des données de ces modèles. Je pense que de nombreux membres de la société civile et défenseurs, et moi-même personnellement, sommes très impatients de voir où cela va mener. L'Office américain des brevets et des marques publiera ici de nouvelles orientations sur les règles de propriété intellectuelle et sur la qualité d'inventeur de l'IA. Ce sera également très intéressant. 

‍

Le décret met également l'accent sur les questions d'équité et de non-discrimination. Il charge les principales agences de réglementation du gouvernement américain, le DOJ, l'EOC et d'autres au sein du DHS, de se réunir et de décider comment elles vont investir et peut-être élaborer de nouvelles orientations pour l'application de la loi contre les préjudices liés à l'IA. Nous n'avons pas encore vu d'effort coordonné en ce sens. Le décret a véritablement formalisé cette démarche. Nous examinons des questions telles que la non-discrimination en matière de logement, la disponibilité des prêts, des éléments dont nous savons tous depuis longtemps qu'ils constituent des préjudices liés à l'IA bien documentés. Il sera formidable de voir comment le gouvernement élaborera une stratégie d'application autour de ces questions.

‍

Le décret couvre également le travail et les droits des travailleurs. Il demande aux agences de fournir des orientations sur la manière dont elles pourraient utiliser les systèmes d'IA ou sur la manière dont les sous-traitants fédéraux utilisent les systèmes d'IA dans les processus de recrutement. Nous avons tous entendu parler de l'Institut britannique pour la sécurité de l'IA. Le NIST a lui-même mis en place un Institut de sécurité de l'IA où il effectuera un travail important pour interroger la sécurité et la robustesse des modèles de fondation, des modèles d'IA, en développant des processus de red-teaming (simulation d'adversaires), en s'appuyant sur les processus existants de gestion des risques pour améliorer réellement la sécurité de ces modèles.

‍

Et enfin, le décret se concentre particulièrement sur le renforcement des talents en IA au sein du gouvernement américain. C'est une statistique triste, mais bien réelle. Seulement 1 % des diplômés de doctorat en informatique et en IA aux États-Unis rejoignent la fonction publique fédérale. Nous avons un grand nombre de professionnels de l'IA très talentueux qui se dirigent vers le secteur privé, le monde universitaire ou les grands laboratoires. Mais seule une petite partie de ces personnes finit par travailler dans le secteur public et par contribuer aux objectifs et aux besoins de celui-ci, améliorant ainsi les services publics. Le décret crée de nouvelles règles et modifications – de petits amendements aux politiques d'immigration pour permettre aux personnes nées à l'étranger et formées aux États-Unis dans le domaine de l'IA de rester aux États-Unis et de contribuer à l'écosystème américain. C'est un aperçu très général des thèmes clés qui parsèment ce décret.

‍

Que se passe-t-il au Royaume-Uni ? Je sais que vous avez été étroitement impliqué dans les discussions ici, tant avec les hauts dirigeants de l'IA qu'avec le gouvernement à Downing Street. Y a-t-il eu des progrès depuis le Sommet sur la sécurité de l'IA ?

‍

RD : Pour résumer rapidement les développements au Royaume-Uni, le gouvernement a commencé par une approche « pro-innovation » de la réglementation de l'intelligence artificielle. L'idée était de faire du Royaume-Uni un leader mondial de l'intelligence artificielle. Cela touche à de nombreux points soulevés concernant la promotion des talents et la garantie de ne pas surcharger les organisations ; comment le gouvernement peut mettre en place une infrastructure qui favorise réellement l'innovation autour de ces technologies incroyables. Le premier livre blanc à ce sujet a été publié il y a quelques années. En tant qu'entreprise, nous avons contribué à ces propositions directes. Au début, il s'agissait d'une orientation et, au fil du temps, certains des commentaires reçus indiquaient que l'approche pro-innovation de la réglementation de l'intelligence artificielle manquait de mordant. Et ils ont pris ces commentaires en compte – le gouvernement avait un choix à faire : réglementer l'IA ou ne pas la réglementer ? 

‍

Le deuxième projet de l'approche pro-innovation était assez créatif. J'ai mentionné qu'il y avait 2 options. Il y en avait peut-être une troisième : le plan de réglementation de l'IA au Royaume-Uni consiste à reporter la charge réglementaire sur les régulateurs sectoriels existants en leur disant : « Vous êtes l'autorité de conduite financière ou l'autorité de la concurrence, vous réglementez déjà votre domaine. Vous devriez également examiner comment l'IA est utilisée dans le cadre de votre mandat existant. » Cela impliquera de veiller à ce que les systèmes d'IA respectent des principes transsectoriels. Cette approche impose une obligation à l'industrie.

‍

Il a été question d'aller encore plus loin et d'introduire un projet de loi sur l'IA, et je pense que le gouvernement a définitivement examiné cette question en détail. C'était une question ouverte à l'approche du sommet sur la sécurité. À l'issue du Sommet sur la sécurité, il a été décidé de ne pas tenter d'introduire de réglementation supplémentaire au Royaume-Uni. Il y a eu un projet de loi supplémentaire sur les voitures autonomes et les véhicules hors route, mais il n'y a rien de comparable à la loi européenne sur l'IA (EU AI Act), que je pense que les gens envisageaient à ce moment-là. Un nouveau projet de cette approche pro-innovation sera publié au cours de la nouvelle année. Et j'en ai discuté de très près avec certaines personnes du DSIT. Il est très peu probable qu'une législation horizontale comme celle que nous avons vue en Europe voie le jour au Royaume-Uni.

‍

L'approche est différente à bien des égards. L'une des principales critiques formulées à l'encontre de l'approche pro-innovation et du report de la charge sur les régulateurs sectoriels est l'absence de fonction de coordination. En l'absence d'une fonction centrale coordonnant le tout en coulisses, un régulateur peut interpréter un aspect de la chaîne de valeur d'une certaine manière, tandis qu'un autre régulateur adopte une interprétation opposée sur la même question. Cela génère beaucoup d'incertitude sur le marché, et c'est un point de retour que le gouvernement s'efforce de traiter dans sa dernière version du livre blanc. Inversement, la critique est presque opposée concernant la loi européenne sur l'IA (EU AI Act), où certains affirment qu'elle est trop horizontale et qu'il est nécessaire de prendre en compte des secteurs spécifiques et leurs nuances propres. 

‍

Nous avons maintenant discuté des différentes approches réglementaires aux États-Unis, dans l'UE et au Royaume-Uni, et nous savons également que des efforts similaires ont été déployés au Brésil, en Chine et un peu partout dans le monde. Pourquoi la cohésion internationale serait-elle si précieuse et quels sont selon vous les avantages de l'établissement de normes mondiales ?

‍

MK : Je suis ravi de parler de SWIFT et de l'approche que nous adoptons pour faire face à certaines de ces questions. En guise d'introduction, SWIFT est la Society for Worldwide Interbank Financial Telecommunication. Nous sommes une organisation neutre et sans but lucratif qui gère l'infrastructure de messagerie pour les paiements internationaux. Nous accordons une importance majeure à la gouvernance. La façon dont nous nous adressons à nos clients, aux grandes institutions financières, consiste à mettre en avant les capacités de gestion des risques extrêmement étendues et matures qui sont déjà en place chez les prestataires de services financiers établis. Dans le cadre du modèle des 3 lignes de défense, nous disposons d'une gestion des fournisseurs, d'une gouvernance des produits, d'une gouvernance des données, de contrôles de sécurité, d'évaluations de la confidentialité, etc. Nous avons d'innombrables comités, processus et des légions de personnes qui examinent ces aspects. Cela nous permet déjà de nous aligner à 70 % sur ce que les décideurs politiques espèrent voir. 

‍

Il peut y avoir une ou deux lacunes dans certains domaines. Mais il s'agit peut-être d'utiliser le vocabulaire de la réglementation sur la gouvernance de l'IA — l'explicabilité, qui en termes juridiques se traduit par la responsabilité du risque. Et des principes comme l'équité existent déjà sous forme de non-discrimination, etc. 

‍

Il s'agirait donc d'extraire de la multitude de processus dont vous disposez déjà (évaluation des risques, identification, surveillance de l'impact, etc.) les informations de gestion par rapport à certaines mesures définies que les régulateurs souhaitent voir pour une IA responsable et la gestion des risques liés à l'IA. Ces mesures couvrent différentes dimensions : l'équité, l'auditabilité, la responsabilité, l'exactitude. Ensuite, il convient de présenter ces informations de manière standardisée afin que les décideurs de l'organisation (au niveau de la direction, du conseil d'administration, du directeur des risques, du directeur juridique, etc.), qui n'ont pas nécessairement d'expertise approfondie en matière de données ou d'IA, puissent les comprendre. Cela doit se faire de manière reproductible, offrant à la direction des assurances sur lesquelles elle peut s'appuyer pour prendre des décisions, et des assurances qui peuvent être mises à la disposition de quiconque le souhaite — qu'il s'agisse du régulateur, des clients ou d'autres types de parties prenantes.

‍

Ce que je dirais aux clients, c'est : ne paniquez pas. Car, si vous êtes une institution mature, vous disposez déjà d'une grande capacité de gestion des risques pour faire face à la gouvernance de l'IA.

‍

Concernant les normes mondiales, la culture de l'entreprise, la capacité à mettre en œuvre des processus de gestion des risques génériques, ainsi que l'infrastructure que vous pouvez mettre en place, vous permettront d'obtenir les résultats d'assurance disponibles. Définissez vos propres normes dans votre propre contexte. Vous pouvez ensuite les réadapter en fonction des exigences des juridictions locales grâce à diverses stratégies : établir des partenariats avec des acteurs de différentes régions du monde, par exemple, parmi votre clientèle, votre groupe de fournisseurs, des universitaires, des régulateurs. Vous pouvez siéger au conseil d'administration de groupes de travail, vous pencher sur de nouveaux domaines tels que les technologies améliorant la confidentialité (PET) pour comprendre les normes qu'elles suivent, appréhender le contexte local pour certains domaines et reformuler les assurances que vous pouvez fournir pour les adapter aux réglementations locales. 

‍

Je pense que Connor parlait de catégories et de seuils. J'ai bien peur que ce soit ainsi que fonctionne la réglementation. Les régulateurs créent toujours des catégories. Et puis les gens se plaignent que les choses sont dans la mauvaise catégorie ou que le seuil n'est pas au bon niveau, mais ils évoluent avec le temps. Je pense que les régulateurs ont fait un excellent travail à l'échelle mondiale, sachant que la plupart des responsables politiques n'ont pas beaucoup d'expertise en matière de machine learning. Le NIST est une organisation clé à suivre. Il y a tellement de bruit autour de ce qui constitue les meilleures pratiques en matière de gouvernance de l'IA, de la manière de gérer toutes les différentes normes réglementaires émergentes. La situation s'est d'ailleurs détériorée l'année dernière en termes de rapport signal sur bruit. Il est beaucoup plus difficile de discerner quelles organisations sont réellement dignes de confiance. La meilleure chose à faire est de tirer parti de ce que vous possédez déjà, par exemple, les 3 lignes de défense.

‍

Sur les points soulevés par Ryan concernant le Royaume-Uni, je pense que le Royaume-Uni a été plutôt astucieux dans trois dimensions. Tout d'abord, ils ont mis en place l'AI Safety Institute. Le Royaume-Uni sera en mesure de voir tous les modèles de fondation de pointe des entreprises américaines car ils seront vérifiés par les agences américaines et britanniques. Deuxièmement, le Royaume-Uni est toujours membre de l'organisme de normalisation habilité à définir les normes de la réglementation européenne. Dans une certaine mesure, le Royaume-Uni a toujours son mot à dire lors de la phase de normalisation de la loi européenne sur l'IA. Troisièmement, les exigences de la loi européenne pour que les entreprises démontrent qu'elles disposent d'un système de gestion des risques seront une véritable aubaine pour les cabinets de conseil professionnels, dont beaucoup sont basés à Londres. Nous pourrions donc voir bon nombre d'entre eux réaliser des affaires fructueuses grâce à cette loi.

‍

Vous mentionnez les trois lignes de défense. C'est un concept très familier dans les secteurs des services financiers et de l'assurance, mais moins dans d'autres industries. Dans quelle mesure les trois lignes de défense sont-elles applicables pour tenter de gérer les risques liés à l'IA et pensez-vous que c'est un aspect que d'autres organisations devraient étudier ?

‍

MK : Cela dépend du secteur dans lequel vous évoluez. De manière générale, le message émanant du Sommet sur la sécurité de l'IA était que, tout au long de l'histoire du monde, certains secteurs ont été considérés comme peu sûrs, et leur utilisation a pu inquiéter le public, mais ce n'est plus le cas aujourd'hui. C'est grâce à des normes de sécurité que nous avons géré ces risques et gagné la confiance de la société. Si l'on prend l'exemple de l'aviation, ou des transports en général, personne ne s'inquiète de monter à bord d'un avion car on sait qu'il existe des contrôles de sécurité et des réglementations strictes. Si l'on s'intéresse à l'industrie pharmaceutique et à l'approche progressive des essais cliniques, c'est une démarche que certains suggèrent d'adopter pour les modèles de fondation. Une partie de la mission des instituts de sécurité consiste à examiner la transférabilité des normes de ces secteurs hautement réglementés vers l'univers de l'IA. 

‍

Les trois lignes de défense sont assez spécifiques au secteur des services financiers. Cependant, l'essence du concept reste pertinente pour d'autres industries. La première ligne correspond aux équipes opérationnelles, aux propriétaires de produits. Ils détiennent le risque et ont la responsabilité d'identifier les risques, de définir les contrôles, de mettre en œuvre les mesures d'atténuation et de surveiller les résultats. La responsabilité incombe aux équipes opérationnelles. La deuxième ligne regroupe tous vos partenaires de soutien : les gestionnaires de risques, les juristes, l'équipe de gouvernance des données, l'équipe de cybersécurité, etc. Ils apportent leur expertise thématique, par le biais d'ateliers interdisciplinaires pour identifier tous les problèmes liés à la réponse opérationnelle, aidant l'entreprise à se réunir, à enregistrer et à évaluer quantitativement tous les risques par rapport à l'appétence au risque définie pour un projet particulier. La deuxième ligne vous aide à assurer le suivi. Et la troisième ligne est constituée des auditeurs qui interviendront périodiquement pour vérifier que tout le travail effectué en termes d'identification et de gestion des risques est conforme à ce que vous avez déclaré. De manière générale, il s'agit d'analyser les secteurs qui disposent déjà de mesures de sécurité avancées et de voir dans quelle mesure elles sont transférables à ce secteur. 

‍

Il est crucial que les mesures soient spécifiques à ce que vous faites. Si vous gérez un service B2B (business to business) de détection d'anomalies par régression logistique sur des données tabulaires de back-office, les questions de droits humains fondamentaux ne constituent pas nécessairement le risque majeur lié à votre utilisation de l'IA. 

‍

Nous avons abordé un point très intéressant concernant la responsabilité du risque. Cela nous mène directement aux questions de responsabilisation (accountability). Selon vous, où se situe la responsabilité ultime en matière de gestion des risques de l'IA sur l'ensemble de la chaîne de valeur ?

‍

CD : Nous avons beaucoup réfléchi à cette question à l'Ada Lovelace Institute. En accord avec ce qu'a dit Martin, le concept des multiples lignes de défense s'applique très bien à la chaîne de valeur de l'IA. L'un des défis que nous avons rencontrés avec la loi européenne sur l'IA (EU AI Act) est l'accent mis sur la phase de déploiement, car ils ont adopté le prisme de la sécurité des produits. Dans nos recherches à l'institut, nous constatons constamment que la réalité est bien plus complexe. Le risque peut apparaître à n'importe quel stade de la chaîne de valeur, il n'y a donc pas de réponse unique quant à l'attribution de la responsabilité. 

‍

Ce qui est clair, c'est que la responsabilité doit être répartie tout au long de la chaîne de valeur. Par exemple, les décisions prises lors de la phase de conception et de développement, ou concernant les données que vous intégrez au modèle lors de son entraînement, auront certainement un impact sur les résultats, même au niveau de la couche applicative lors du déploiement. Réfléchir à l'origine du risque est un concept utile auquel se rattacher. L'origine du risque est très importante. La prolifération du risque est également un élément clé sur lequel les régulateurs doivent se concentrer. Le risque peut proliférer, par exemple, une fois qu'il est hébergé sur un service cloud ou lorsqu'il est fourni via un accès API. C'est à ce moment-là qu'un élément potentiellement nocif peut être amplifié en offrant une plus grande accessibilité. Cela peut constituer un point d'intervention utile pour les régulateurs afin de déterminer où le risque prend sa source et comment il peut être atténué.

‍

Nous ne pouvons pas dire précisément où réside la responsabilité – elle doit être partagée et très ciblée sur l'origine du risque. Il existe des modèles de gouvernance intéressants dont nous pouvons nous inspirer auprès d'autres secteurs. Par exemple, les 3 lignes de défense. La réglementation des sciences de la vie aux États-Unis est un modèle que nous avons étudié récemment — concrètement, ce à quoi pourrait ressembler une FDA pour l'IA. Nous allons publier des recherches à ce sujet dans les prochains jours. L'essentiel est d'accéder à des informations de haute valeur, afin de remédier à l'asymétrie d'information que nous constatons entre les développeurs et les régulateurs. La Food and Drug Administration (FDA) a accès à des informations pour réglementer les dispositifs médicaux, par exemple. Il existe une relation continue entre le développeur et le régulateur tout au long du cycle de vie du produit. Il est possible d'organiser un examen ciblé basé sur des normes spécifiques. C'est un bon moyen de traiter les chaînes de valeur où l'origine du risque est très floue, et c'est aussi un bon moyen pour un régulateur d'apprendre et de monter en compétences au fil du temps, en trouvant des points de contrôle lui permettant d'accéder à des informations de grande valeur. 

‍

Il existe une responsabilité importante avant la mise sur le marché pour les développeurs et les utilisateurs. Ensuite, au stade post-commercialisation, il est nécessaire de disposer d'un régulateur fort capable d'analyser le risque tout au long du cycle de vie. Cela rejoint probablement la deuxième et la troisième ligne de défense, qui devraient être soutenues par ce que nous appelons un écosystème d'inspection. Cela signifie un accès pour les auditeurs, comme l'a mentionné Martin, ou un accès pour des équipes de red-teaming agréées.

‍

Le principal défi est une question d'incitations. La loi sur l'IA n'imposera probablement pas d'audits indépendants ou de tests contradictoires avec des red-teamers agréés. La question est donc de savoir quelles sont les incitations pour les fournisseurs qui ne s'ouvriraient pas nécessairement à ce type d'examen sans obligation réglementaire. C'est ce à quoi nous allons réfléchir à l'avenir.

‍

Nous avons une question du public : travaillez-vous sur un document de correspondance (mapping) reliant le cadre de gestion des risques du NIST à la loi européenne sur l'IA (EU AI Act) ?

‍

CA : Il y a eu énormément d'exercices de correspondance différents avec le cadre de gestion des risques (RMF), la loi européenne sur l'IA (EU AI Act) et diverses autres propositions. Je serais ravie de rassembler quelques ressources et de les partager avec vous tous pour que vous puissiez en disposer. 

‍

MK : Même si un tel document existait, il n'y aura jamais de moment à l'avenir où nous obtiendrons une certitude juridique totale quant aux exigences imposées à chacun dans une juridiction donnée. Ce sera toujours dynamique. Nous allons toujours devoir composer avec une certaine dose d'incertitude et il faut s'y habituer. Une partie de la solution consiste à développer ses propres normes, spécifiques à son propre contexte. Revenez au point de départ et, au lieu de laisser faire les décideurs politiques, résolvez le problème vous-même dans votre propre contexte. Définissez certaines de vos propres normes et créez une piste d'audit par rapport à celles-ci. Vous pourrez utiliser cette piste d'audit lorsque vous souhaiterez faire preuve de transparence en matière de responsabilité, à chaque étape du cycle de vie.

‍

Mais je mettrais quiconque en garde contre l'idée qu'il suffirait d'intégrer les normes et exigences des différentes juridictions dans un LLM, ou dans une plateforme qui cartographie entièrement les documents, pour qu'une organisation n'ait plus qu'à cocher toutes les cases pour être en règle. Ce n'est pas réaliste car nous allons évoluer dans un environnement dynamique. 

‍

RD : Je suis tout à fait d'accord. Nous allons publier très prochainement un guide gratuit sur les politiques d'IA qui aborde précisément ces points, expliquant comment adapter certains de ces cadres à votre organisation et comprendre ce qui compte pour vous. Il ne s'agit pas simplement de prendre des solutions prêtes à l'emploi. 

‍

Il y a une question concernant la propriété intellectuelle et la manière dont elle va se structurer dans ce domaine. 

‍

Ryan : Les incitations sont également un facteur clé dans tout cela, et elles ne sont pas toujours celles que l'on croit. Pour donner un exemple de la situation actuelle, de vives inquiétudes pèsent sur la propriété intellectuelle de bon nombre de ces grands modèles de fondation, car ils ont extrait leurs données d'absolument partout. Ce que font certains des plus grands fournisseurs – ceux qui possèdent déjà de grands ensembles de données – c'est proposer des clauses d'indemnisation en matière de propriété intellectuelle, en disant : « nous allons vous indemniser contre tout type de réclamation concernant une violation des lois sur la propriété intellectuelle partout dans le monde, car nous sommes tellement certains de posséder toutes les données sur lesquelles ce modèle a été entraîné que nous pensons que cela n'arrivera jamais, et nous pouvons donc vous accorder cette indemnité en toute confiance ». Cela inspire une grande confiance dans ce type de produits.

‍

Plutôt que d'attendre des règles spécifiques liées à la propriété intellectuelle et à ces grands modèles, les organisations prennent l'initiative et déclarent : nous allons entièrement décharger le client de ce risque. Nous allons rendre nos outils dignes de confiance. Je trouve cela très convaincant, et cela montre à quel point les incitations sont parfois un peu différentes de ce que l'on pourrait imaginer au départ. De même, on peut regarder du côté de la cybersécurité où les entreprises SaaS (Software as a Service) doivent répondre à des normes très strictes telles que l'ISO/IEC 27001 et le SOC 2, qui ne sont pas imposées par les régulateurs. 

‍

Pourtant, le marché incite fortement les organisations à se conformer à ces normes, car personne n'achètera votre logiciel si vous ne respectez pas les niveaux de cybersécurité les plus élevés possibles pour protéger leurs données. Cette incitation du marché est parfois sous-estimée.

‍

Le décret va avoir un impact énorme, mais il y a aussi beaucoup d'initiatives au niveau des États américains, n'est-ce pas ? Je pense par exemple à la loi locale 144 de New York, elles semblent se situer au niveau de l'État et se concentrer sur des secteurs spécifiques. Comment pensez-vous que toutes ces initiatives vont interagir avec le cadre fédéral plus large ?

‍

CA : C'est un excellent point à soulever. Nous allons assister à une activité intense au niveau des États l'année prochaine, en particulier en l'absence d'action du Congrès. L'accent a été mis sur les forums sur l'IA du chef de la majorité au Sénat, Chuck Schumer. Il a organisé environ 10 tables rondes thématiques différentes avec des experts de premier plan en IA, ainsi que d'autres discussions sur des sujets précis comme la transparence, l'explicabilité, la sécurité nationale, les biais et les droits civiques. Mais les réalités politiques à Washington sont ce qu'elles sont. De grandes élections se profilent l'année prochaine. Des élections très importantes. Il est vraiment peu probable, même si nous progressons au Sénat sur une législation inspirée par les forums et la mise en œuvre du décret, que nous parvenions à faire adopter un projet de loi global, ou que nous réussissions à traiter bon nombre des préjudices liés à l'IA qui nous préoccupent. 

‍

Face à ce vide, de nombreux États ont déjà commencé à intervenir. La ville de New York a adopté la loi locale 144, qui exige des audits de biais pour tout type d'utilisation de technologies d'IA dans les processus de recrutement, tant pour l'embauche que pour l'emploi. Si votre entreprise effectue une surveillance des employés, des entretiens ou des évaluations facilités par l'IA, vous devrez réaliser un audit de biais. La mise en œuvre est encore en cours de structuration. Nous verrons de nombreux projets de loi spécifiques à certains secteurs, ainsi que des textes visant à renforcer les talents en IA et l'efficacité au sein des gouvernements des États. Concernant les projets de loi sectoriels, nous avons au Colorado une loi sur les assurances qui examine comment les sources de données sont exploitées et analysées via l'IA pour les décisions d'assurance. Cette loi est désormais en vigueur, et sa mise en œuvre est en cours. Dans le Connecticut, le sénateur de l'État, James Maroney, a mis en place un groupe de travail inter-États sur l'IA, réunissant différents législateurs au niveau local qui s'inquiètent de ces questions, que ce soit dans le contexte des biais et de la discrimination ou de l'intégrité des élections.

‍

Et pourriez-vous nous dire comment l'élection présidentielle de 2024 pourrait influencer l'exécution du décret de Biden sur l'IA ? 

‍

CA : Je sais pertinemment que l'administration Biden est très concentrée sur la mise en œuvre de la plus grande partie possible de ce décret à l'approche de l'année électorale. C'est d'autant plus vrai que le dernier décret sur l'IA n'avait pas tout à fait atteint ses objectifs en matière d'exécution. Il sera très intéressant de voir ce qui se passera l'année prochaine. Trump lui-même s'est déjà exprimé pendant sa campagne, affirmant que dès le premier jour, il abrogerait le décret sur l'IA « Woke » du président Biden afin de protéger la liberté d'expression. Quelles que soient vos affinités politiques, je pense que ce sont des arguments et des positions très prévisibles. Ce que j'en retiens, c'est que la gouvernance de l'IA est un sujet politique aux États-Unis et qu'elle le restera, surtout à l'approche de cette élection. Il y a beaucoup de choses à suivre au niveau fédéral. Plus important encore, soyez attentifs à ce qui se passe au niveau des États, car de nombreux élus émergents s'intéressent de près à ces questions.

‍

Il y aura également des élections en Europe l'année prochaine. Comment cela va-t-il affecter le calendrier de la loi européenne sur l'IA (EU AI Act), en particulier son entrée en vigueur ?

‍

CD : J'espère que cela ne l'affectera pas du tout. Il y a une faible probabilité que cela ait un impact. Le cas échéant, ils doivent finaliser la rédaction technique du texte d'ici mars au plus tard afin qu'il ne soit pas impacté par les élections. Le travail commencera donc concrètement à partir de mars. Pour l'instant, il semble qu'ils aient largement le temps. Je ne prévois pas d'obstacles. Il pourrait y en avoir en cas de forte opposition. La France pourrait intervenir de manière bloquante pour tenter de faire obstacle au texte. Si cela devait se produire, on risquerait de ne pas avoir d'accord d'ici mars. En pratique, cela signifierait que les travaux seraient reportés à 2025, ce qui serait pour le moins complexe, car de nouveaux parlementaires seraient alors élus. Ce ne seraient peut-être pas les mêmes personnes au Parlement, de sorte que de nouveaux députés reprendraient le dossier avec des priorités différentes.

En supposant qu'ils aillent de l'avant, il y a un délai de 2 ans avant l'entrée en application après la publication au Journal officiel de l'UE. Ils publieront probablement le texte début 2024, de sorte que 2026 sera l'année de mise en conformité pour la plupart des applications d'IA. Pour les modèles d'IA à usage général présentant un risque systémique, l'objectif est une entrée en application un an après la publication.

‍

Cela conclut une discussion très enrichissante sur le développement responsable et la gouvernance des systèmes d'IA. Je tiens à remercier chaleureusement nos panélistes, Connor, Martin, Chloe et Ryan, pour avoir partagé leur expertise et leurs points de vue. Un grand merci à tous nos participants de s'être joints à nous — je vous invite à poursuivre ce dialogue sur la page de notre événement et sur nos réseaux sociaux. 

‍

L' enregistrement complet du webinaire est disponible sur YouTube.

Enzai est la plateforme leader de gouvernance de l'IA pour les entreprises, conçue spécifiquement pour aider les organisations à passer de politiques abstraites à une surveillance opérationnelle. Notre plateforme de gestion des risques liés à l'IA fournit l'infrastructure spécialisée requise pour gérer la gouvernance de l'IA agentique, maintenir un inventaire complet de l'IA et garantir la conformité avec la loi européenne sur l'IA (EU AI Act). En automatisant des flux de travail complexes, Enzai permet aux entreprises de faire évoluer l'adoption de l'IA en toute confiance tout en restant alignées sur les normes mondiales telles que ISO 42001 et NIST.