Notre groupe d'experts en gouvernance de l'IA donne son avis sur les réglementations et les normes, la responsabilité, les trois lignes de défense et bien plus encore.
•
•
31 minutes de lecture
Sujets
Nous sommes ravis de partager les analyses de notre récent panel d’experts du webinaire, réunissant Connor Dunlop (CD), responsable des politiques publiques européennes à l’Ada Lovelace Institute ; Martin Koder (MK), responsable de la gouvernance de l’IA chez SWIFT ; Chloe Autio (CA), conseillère en politique et gouvernance de l’IA ; et Ryan Donnelly (RD), PDG d’Enzai, une solution de gouvernance de l’IA.
Les réponses des panélistes ont été éditées pour plus de concision et de clarté.
Après le dernier cycle de discussions sur l’AI Act de l’UE la semaine dernière, quels vous semblent être les principaux points de blocage et quels développements espérez-vous voir de la part de l’UE l’an prochain ?
CD : C’est un moment décisif pour Bruxelles et l’UE : un accord politique a été trouvé sur l’AI Act. Cela marquerait le premier règlement horizontal sur l’IA au monde. C’est un événement majeur. Il n’y aura, espérons-le, pas beaucoup de points de blocage, même si nous en verrons probablement certains dans la rédaction technique à venir. Mais avant d’aborder les points de blocage et les évolutions attendues l’an prochain, je souhaite brièvement expliquer pourquoi l’AI Act est important et pourquoi cet accord politique mérite toute notre attention. Comme je l’ai mentionné, il s’agirait du premier règlement horizontal au monde en matière d’IA. C’est intéressant, car il interdira en réalité l’utilisation de certains systèmes d’IA. L’identification biométrique à distance en temps réel dans les espaces publics, par exemple, serait totalement interdite, sous réserve de certaines exceptions pour les forces de l’ordre. Le sujet central cette semaine portait sur l’ampleur de cette exception.
Les systèmes d’IA à haut risque — selon la Commission européenne — pourraient représenter 5 à 15 % des systèmes. Cela concernerait de nombreux cas d’usage dans le secteur public, par exemple dans le système juridique ou les forces de l’ordre, ainsi que d’autres secteurs à fort impact : l’éducation, la santé, etc. L’Acte fixera certaines règles en matière de gestion des risques, de gouvernance des données et de garantie du maintien de la supervision humaine. Une nouvelle catégorie pourrait également voir le jour, ce qui vient d’être acté la semaine dernière : nous savons que le projet de texte classe les systèmes en systèmes interdits, systèmes à haut risque et systèmes à faible risque, et qu’une catégorie de « risque systémique » a désormais été introduite. Cette catégorie concerne les modèles d’IA à usage général. C’est là qu’un point de blocage pourrait surgir, en particulier le seuil de calcul permettant de classer un système d’IA comme présentant des risques systémiques. À l’heure actuelle, ce seuil est — selon notre institut — assez élevé. Le seuil proposé de 10^25 FLOPs ne concerne qu’un seul modèle sur le marché, GPT-4. Gemini de Google DeepMind pourrait également être concerné, mais cela reste encore à confirmer.
S’agissant de ce qui nous attend en 2024, le premier trimestre sera encore consacré à la rédaction du texte technique de la législation. Les parties prenantes continueront à chercher à influencer ce processus ; les considérants de l’AI Act et les clarifications apportées au texte juridique seront essentiels. Ce travail ne doit pas être négligé au début de l’année prochaine. Une évolution potentiellement intéressante est l’accord sur un code de bonnes pratiques pour les modèles d’IA à usage général présentant un risque systémique. Dans un premier temps, il s’agira d’orientations non contraignantes destinées aux fournisseurs de modèles à usage général. C’est une voie d’implication importante pour la société civile, ce qui est réellement essentiel. À partir probablement du deuxième trimestre de l’an prochain, le code de bonnes pratiques fera l’objet d’une attention soutenue. S’il est bien conçu, il pourrait combler le déficit démocratique du processus de normalisation. Le dernier point à souligner concerne le travail de l’UE sur une directive relative à la responsabilité en matière d’IA — même s’il sera interrompu en raison des élections européennes de l’an prochain.
Nous avons abordé la question de la sécurité de l’IA dans le contexte européen. Pendant un certain temps, les États-Unis n’ont pas joué un rôle moteur en matière de réglementation, mais cela a changé avec le décret exécutif du président Biden sur l’IA. Quelle est l’ambiance aux États-Unis ? Comment voyez-vous la mise en œuvre de ce décret au cours de l’année à venir
CA : Pour résumer rapidement, le décret exécutif a été publié le 30 octobre, juste avant le sommet britannique sur l’IA. Il s’agit du décret exécutif le plus long et le plus complet de l’administration Biden à ce jour — avec 111 pages — sur des sujets liés aux technologies ou à la politique numérique, jamais publiés. Il montre donc très clairement à quel point l’administration agit de manière intentionnelle et à quel point elle souhaite être proactive sur ce sujet.
Le décret mobilise 50 entités différentes, le département du Commerce assurant une grande partie de la mise en œuvre, en particulier au sein du NIST, le National Institute for Standards and Technology, que vous connaissez peut-être pour ses travaux sur le cadre de gestion des risques liés à l’IA, devenu un cadre de normalisation volontaire de référence pour la gouvernance de l’IA. Il a également créé plus de 150 nouvelles directives, c’est-à-dire des actions, des rapports, des orientations, tout type de règles ou de politiques, ainsi que des rapports élaborés par les agences, à mettre en œuvre dans les 30 à 365 prochains jours. En définitive, il y a ici énormément de travail à accomplir. Et l’accueil a été réellement, réellement positif.
Dans mes échanges avec des interlocuteurs sur Capitol Hill — ainsi qu’avec l’administration et l’industrie —, il y a beaucoup d’enthousiasme autour de la feuille de route et de la trajectoire définies par le décret exécutif, ainsi qu’une grande curiosité quant à sa mise en œuvre.
Cela diffère des précédents décrets exécutifs, en particulier de celui issu de l’administration Trump sur l’IA digne de confiance. De nombreuses directives de ce décret n’ont pas vraiment été menées à terme. Parmi celles-ci figuraient notamment l’inventaire des cas d’usage de l’IA, l’élaboration de différents types d’orientations en matière de gestion des risques pour diverses agences, ou encore la note de l’Office of Management and Budget donnant des orientations sur la manière d’adopter et de déployer l’IA de façon responsable. Rien de tout cela n’a été finalisé. Je pense donc qu’avec ce décret exécutif, en termes de ton et d’orientation, nous verrons beaucoup plus d’attention portée à la mise en œuvre, ainsi qu’une approche pangouvernementale pour y parvenir.
Il est important de comprendre qu’avant la publication du décret exécutif, le gouvernement américain menait déjà un travail important sur la gouvernance de l’IA. Certes, le Congrès n’a pas adopté de loi-cadre globale ou horizontale sur la gouvernance de l’IA, comme nous l’avons vu dans l’UE, mais de nombreuses agences au sein du gouvernement et à travers celui-ci (l’EEOC, la Equal Employment Opportunity Commission ; le NIST lui-même avec le cadre de gestion des risques liés à l’IA ; le CFPB, le Consumer Financial Protection Bureau) ont publié différents types d’orientations pour traiter des préjudices liés à l’IA bien connus. Le décret exécutif s’inscrit dans la continuité du travail remarquable réalisé par nombre de ces agences. Ce travail a contribué à orienter ce décret exécutif.
Le décret exécutif couvre vraiment un large éventail de sujets : il met l’accent sur la sécurité nationale en lien avec l’accès aux modèles et la protection contre les risques futurs. Une forte attention est également portée à la vie privée, à la protection des consommateurs et à la propriété intellectuelle.
Dans ce contexte, l’une des exigences imposées aux agences est de recenser différentes sources de données, y compris celles provenant de courtiers en données, afin de bien comprendre les implications en matière de confidentialité — autrement dit, l’origine des données utilisées pour ces modèles. Je pense que beaucoup d’acteurs de la société civile et de défense des droits, et personnellement moi aussi, sont très impatients de voir où cela mènera. L’Office américain des brevets et des marques publiera ici de nouvelles orientations sur les règles de propriété intellectuelle et sur l’inventivité en matière d’IA. Ce sera également très intéressant.
Le décret exécutif met aussi fortement l’accent sur les questions d’équité et de non-discrimination. Il charge les principales agences de régulation du gouvernement américain, le DOJ, l’EOC et d’autres au sein du DHS, de se réunir et de déterminer comment elles vont investir et peut-être élaborer de nouvelles orientations pour l’application des règles contre les préjudices liés à l’IA. Nous n’avons pas encore vraiment vu d’effort coordonné en ce sens. Le décret exécutif l’a véritablement formalisé. Nous nous penchons sur des enjeux tels que la non-discrimination dans le logement, l’accès au crédit et d’autres domaines qui, comme nous le savons tous depuis longtemps, constituent des préjudices liés à l’IA bien documentés. Il sera vraiment très intéressant de voir comment le gouvernement mettra en place une stratégie d’application sur ces sujets.
Le décret exécutif couvre également le travail et les droits des travailleurs. Il demande aux agences de fournir des orientations sur la manière dont elles pourraient utiliser des systèmes d’IA, ou sur la manière dont les sous-traitants fédéraux utilisent des systèmes d’IA dans les processus de recrutement. Nous avons tous entendu parler de l’UK AI Safety Institute. Le NIST a lui aussi créé un AI Safety Institute, où ils mèneront un important travail d’examen de la sécurité et de la robustesse des modèles de fondation et des modèles d’IA, en développant des processus de red teaming et en s’appuyant sur les processus de gestion des risques existants afin d’améliorer véritablement la sécurité de ces modèles.
Enfin, le décret exécutif met vraiment, vraiment l’accent sur le renforcement des talents en IA au sein du gouvernement américain. C’est une statistique triste, mais bien réelle : seuls 1 % des diplômés en informatique et des doctorants en IA aux États-Unis rejoignent la fonction publique fédérale. Nous avons un grand nombre de professionnels de l’IA très talentueux qui rejoignent le secteur privé, le monde académique ou de grands laboratoires. Mais seule une petite partie de ces personnes travaille dans le secteur public et contribue aux objectifs et aux besoins du secteur public, en améliorant les services publics. Le décret exécutif instaure de nouvelles règles et modifications — de petites adaptations des politiques d’immigration pour permettre à des personnes nées à l’étranger, formées aux États-Unis et spécialisées en IA de rester aux États-Unis et de contribuer à l’écosystème américain. Voilà, à très grands traits, les thèmes principaux qui traversent ce décret exécutif.
Que se passe-t-il au Royaume-Uni ? Je sais que vous avez été étroitement impliqué dans les discussions ici, à la fois avec les plus hauts responsables de l’IA et avec le gouvernement à Downing Street. Y a-t-il eu des progrès depuis le Sommet sur la sécurité de l’IA ?
RD : Pour résumer rapidement les évolutions au Royaume-Uni, le gouvernement a commencé par une approche pro-innovation de la réglementation de l’intelligence artificielle. L’idée était d’établir le Royaume-Uni comme un leader mondial de l’intelligence artificielle. Cela rejoint un grand nombre des points évoqués concernant la promotion des talents et la nécessité de ne pas surcharger les organisations ; il s’agit aussi de savoir comment le gouvernement peut mettre en place une infrastructure qui favorise réellement l’innovation autour de ces technologies extraordinaires. Le premier livre blanc à ce sujet a été publié il y a quelques années. En tant qu’entreprise, nous avons contribué directement à ces propositions. Au départ, il s’agissait d’une ligne directrice, puis, avec le temps, certains retours ont été que l’approche pro-innovation de la réglementation de l’intelligence artificielle n’avait pas vraiment de portée contraignante. Le gouvernement a pris ces retours en compte : il devait faire un choix — réglementer l’IA ou ne pas la réglementer ?
La deuxième version de l’approche pro-innovation était assez créative. J’ai dit qu’il y avait deux options. Il y en avait peut-être une troisième : le plan britannique pour réglementer l’IA consiste à reporter la charge de la réglementation sur les régulateurs sectoriels existants et à leur dire : « Vous êtes l’autorité de conduite financière ou l’autorité de la concurrence ; vous régulez déjà votre secteur. Vous devez aussi examiner la manière dont l’IA est utilisée dans votre champ de compétence actuel. » Cela impliquera de veiller à ce que les systèmes d’IA respectent des principes transsectoriels. Cette approche impose une obligation à l’industrie.
Il a été question d’aller encore plus loin et d’introduire un projet de loi sur l’IA, et je pense que le gouvernement a effectivement étudié cette option en détail. La question restait ouverte à l’approche du sommet sur la sécurité. À l’issue du sommet, il a été décidé de ne pas tenter d’introduire de réglementation supplémentaire au Royaume-Uni. Il y avait bien un texte additionnel sur les voitures autonomes et les véhicules hors route, mais rien qui ressemble, même de loin, à l’AI Act de l’UE, que je pense que certains envisageaient à ce moment-là. Un nouveau projet de cette approche pro-innovation devrait être publié au cours de la nouvelle année. J’en ai parlé de très près avec certaines personnes au sein du DSIT. Il est très peu probable qu’un texte législatif horizontal comme celui que nous avons vu en Europe voie le jour au Royaume-Uni.
L’approche est différente à bien des égards. L’une des critiques les plus souvent adressées à l’approche pro-innovation et au transfert de la charge sur les régulateurs sectoriels est l’absence de fonction de coordination. Sans fonction centrale pour tout rassembler en coulisses, un régulateur peut interpréter un aspect de la chaîne de valeur d’une certaine manière, tandis qu’un autre régulateur peut adopter une interprétation opposée de la même question. Cela crée beaucoup d’incertitude sur le marché ; c’est un retour que le gouvernement cherche à traiter dans la dernière version du livre blanc. À l’inverse, certains reprochent presque à l’AI Act de l’UE d’être trop horizontal et estiment qu’il est nécessaire de prendre en compte les secteurs spécifiques et les nuances qui les accompagnent.
Nous avons maintenant abordé différentes approches réglementaires aux États-Unis, dans l’UE et au Royaume-Uni, et nous savons aussi que des efforts similaires ont été engagés au Brésil, en Chine et, plus largement, dans le monde entier. Pourquoi la cohésion internationale serait-elle si précieuse, et quels avantages voyez-vous à l’établissement de normes mondiales ?
MK : Je suis heureux de parler de SWIFT et de l’approche que nous adoptons pour appréhender certaines de ces questions. Pour présenter les choses, SWIFT est la Society for Worldwide Interbank Financial Telecommunications. Nous sommes une organisation neutre, à but non lucratif, qui exploite l’infrastructure de messagerie des paiements internationaux. Nous accordons une importance particulière à la gouvernance. Lorsque nous nous adressons à nos clients, les grandes institutions financières, nous mettons en avant les capacités de gestion des risques extrêmement étendues et mûres déjà en place chez les prestataires de services financiers établis. Dans le cadre du modèle des trois lignes de défense, nous avons la gestion des fournisseurs, la gouvernance des produits, la gouvernance des données, les contrôles de sécurité, les évaluations de confidentialité, etc. Nous avons d’innombrables comités, processus et une armée de personnes qui examinent ces sujets. Cela nous aligne déjà à 70 % sur ce que les décideurs publics espèrent voir.
Il peut exister une ou deux lacunes dans certains domaines. Mais il peut simplement s’agir d’utiliser le vocabulaire de la réglementation de la gouvernance de l’IA : la explicabilité, qui, en termes juridiques, renvoie à la notion de responsabilité en cas de risque. Et des principes tels que l’équité existent déjà sous la forme de la non-discrimination, etc.
Il peut donc s’agir d’extraire de l’ensemble des nombreux processus déjà en place — évaluation des risques, identification, suivi des impacts, etc. — les informations de gestion au regard de certains indicateurs définis que les régulateurs souhaitent voir pour une IA responsable et une gestion des risques liés à l’IA. Ces indicateurs couvrent plusieurs dimensions : équité, auditabilité, responsabilité, exactitude. Il faut ensuite présenter ces informations de manière standardisée afin que les décideurs seniors de l’organisation — au niveau de la direction générale, du conseil d’administration, du directeur des risques, du directeur juridique, et ainsi de suite —, qui ne disposent pas nécessairement d’une grande expertise en données ou en IA, puissent les comprendre. Cela doit être fait de manière reproductible et offrir à la direction des garanties sur lesquelles elle peut fonder ses décisions, tout en fournissant des assurances pouvant être mises à disposition de toute partie qui les souhaite — qu’il s’agisse du régulateur, des clients ou d’autres types de parties prenantes.
Ce que je dirais aux clients ici, c’est : ne paniquez pas. Car, si vous êtes une institution mature, vous disposez déjà d’une capacité importante de gestion des risques pour faire face à la gouvernance de l’IA.
En matière de normes mondiales, la culture de l’entreprise, la capacité à mettre en œuvre des processus génériques de gestion des risques, ainsi que l’infrastructure dont vous disposez, vous permettront d’obtenir les résultats de garantie recherchés. Fixez vos propres normes dans votre propre contexte. Vous pourrez ensuite les adapter aux exigences des juridictions locales au moyen de diverses stratégies : nouer des partenariats avec des acteurs de différentes régions du monde, par exemple au sein de votre base de clients, de votre groupe de fournisseurs, avec des universitaires, avec des régulateurs. Vous pouvez siéger au sein de groupes de travail, examiner de nouveaux domaines comme des technologies spécialisées afin de comprendre les normes qu’ils appliquent, d’apprendre le contexte local de certains secteurs et de reconditionner les garanties que vous pouvez fournir pour les adapter aux réglementations locales.
Je pense que Connor parlait des catégories et des seuils. Je crains que ce ne soit simplement ainsi que la réglementation fonctionne. Les régulateurs créent toujours des catégories. Ensuite, on se plaint que certaines choses se trouvent dans la mauvaise catégorie ou que le seuil est fixé au mauvais niveau, mais ces éléments évoluent avec le temps. Je pense que les régulateurs ont globalement fait du bon travail, en gardant à l’esprit que la plupart des responsables politiques n’ont pas une grande expertise en apprentissage automatique. Le NIST est un organisme clé à suivre. Il y a énormément de bruit autour de ce qui constitue une bonne pratique en matière de gouvernance de l’IA et de la manière de traiter l’ensemble des nouvelles normes réglementaires. En réalité, le rapport signal/bruit s’est nettement dégradé au cours de l’année écoulée. Il est bien plus difficile de discerner quelles organisations méritent réellement votre confiance. La meilleure chose à faire est de s’appuyer sur ce que vous avez déjà — par exemple, les trois lignes de défense.
Concernant les points soulevés par Ryan sur le Royaume-Uni, je pense que le Royaume-Uni a été plutôt avisé à trois égards. Tout d’abord, il a créé l’AI Safety Institute. Le Royaume-Uni pourra voir tous les modèles de fondation les plus avancés des entreprises américaines, car ils seront examinés par les agences américaines et britanniques. Ensuite, le Royaume-Uni reste membre de l’organisme de normalisation habilité à définir les standards pour la réglementation de l’UE. Dans une certaine mesure, le Royaume-Uni conserve donc une place à la table lors de la phase de normalisation de l’AI Act. Troisièmement, les exigences de l’AI Act imposant aux entreprises de démontrer qu’elles disposent d’un système de gestion des risques seront une aubaine pour les cabinets de conseil spécialisés, dont beaucoup sont basés à Londres. Nous pourrions donc voir un certain nombre d’entre eux tirer un avantage commercial significatif de cet Acte.
Vous mentionnez les trois lignes de défense. C’est un concept très familier dans les secteurs des services financiers et de l’assurance, mais moins dans d’autres industries. Dans quelle mesure les trois lignes de défense sont-elles applicables à la gestion des risques liés à l’IA, et pensez-vous que d’autres organisations devraient s’y intéresser ?
Cela dépend du secteur dans lequel vous évoluez. De manière générale, le message issu du Sommet sur la sécurité de l’IA était que, tout au long de l’histoire, certains secteurs étaient considérés comme un peu dangereux, dont l’usage inquiétait les gens, alors que ce n’est plus le cas aujourd’hui. C’est grâce aux normes de sécurité que nous avons réussi à gérer ces risques et à gagner la confiance de la société. Si l’on prend l’aviation, ou les transports en général, personne ne craint de monter dans un avion, car chacun sait qu’il existe des contrôles de sécurité et des règles strictes. Si l’on considère l’industrie pharmaceutique et l’approche progressive des essais cliniques, c’est une méthode que certains proposent d’appliquer aux modèles de fondation. L’une des missions des instituts de sécurité consiste à examiner la transférabilité des normes de ces secteurs hautement réglementés vers l’univers de l’IA.
Les trois lignes de défense sont assez spécifiques au secteur des services financiers. Mais l’essentiel reste pertinent pour d’autres industries. La première ligne, c’est l’activité elle-même, les responsables de produit. Ils détiennent le risque et portent la responsabilité d’identifier les risques, de définir les contrôles, de mettre en place les mesures d’atténuation et de surveiller les résultats. La responsabilité incombe à l’activité. La deuxième ligne regroupe tous vos partenaires de soutien — les responsables des risques, les juristes, l’équipe de gouvernance des données, l’équipe cybersécurité, etc. Ils apportent une expertise métier, au moyen d’ateliers interdisciplinaires, pour identifier tous les problèmes liés à la réponse de l’activité, en aidant celle-ci à réunir, enregistrer et évaluer quantitativement l’ensemble des risques au regard d’un appétit pour le risque défini pour un projet donné. La deuxième ligne vous aide au suivi. Et la troisième ligne correspond aux auditeurs, qui interviennent périodiquement pour vérifier que tout le travail accompli en matière d’identification et de gestion des risques correspond bien à ce que vous avez indiqué. De manière générale, il s’agit de regarder les secteurs dans lesquels des mesures de sécurité avancées existent déjà et d’évaluer leur transférabilité à ce secteur.
Il est crucial que les mesures soient adaptées à ce que vous faites. Si vous gérez une activité B2B, de traitement de données tabulaires en back-office, ou un service de détection d’anomalies par régression logistique, alors les questions fondamentales relatives aux droits humains ne constituent pas nécessairement le principal risque lié à votre usage de l’IA.
Vous avez abordé un point vraiment intéressant concernant la propriété du risque. Cela nous amène directement à la question de la responsabilité. Selon vous, où se situe la responsabilité ultime dans la gestion des risques liés à l’IA, sur l’ensemble de la chaîne de valeur ?
CD : À l’Ada Lovelace Institute, nous avons beaucoup réfléchi à cette question. Comme l’a expliqué Martin, le concept des multiples lignes de défense s’applique très bien à la chaîne de valeur de l’IA. L’un des défis rencontrés avec l’AI Act de l’UE tient à l’accent mis sur la phase de déploiement, car il a été abordé sous l’angle de la sécurité des produits. Dans nos recherches à l’institut, nous constatons constamment que la réalité est bien plus complexe. Le risque peut émerger à n’importe quel point de la chaîne de valeur ; il n’existe donc pas de réponse universelle à la question de savoir où attribuer la responsabilité.
Ce qui est clair, c’est que la responsabilité doit être répartie tout au long de la chaîne de valeur. Par exemple, les décisions prises lors des phases de conception et de développement, ou encore le choix des données injectées dans le modèle lors de son entraînement, auront assurément un impact sur les sorties, même au niveau de l’application lors de son déploiement. Réfléchir à l’origine du risque est un concept utile sur lequel s’appuyer. L’origine du risque est très importante. La prolifération du risque est aussi un point clé sur lequel les régulateurs doivent se concentrer. Le risque peut se propager, par exemple, une fois qu’il est transféré vers un service d’hébergement cloud lorsqu’il est fourni via un accès API ; c’est vraiment à ce moment-là qu’un élément potentiellement préjudiciable peut être amplifié par une accessibilité plus large. Cela peut constituer un point d’intervention utile pour que les régulateurs demandent d’où provient le risque et comment il peut être atténué.
Nous ne pouvons pas dire clairement où se situe la responsabilité : elle doit être partagée et elle doit être très ciblée sur l’endroit où le risque prend naissance. Il existe des modèles de gouvernance intéressants dont nous pouvons nous inspirer d’autres secteurs. Par exemple, les trois lignes de défense. La réglementation des sciences de la vie aux États-Unis est un sujet sur lequel nous travaillons récemment — en substance, à quoi pourrait ressembler une FDA pour l’IA. Nous allons publier une étude à ce sujet dans les prochains jours. L’essentiel est d’obtenir l’accès à des informations à forte valeur afin de réduire l’asymétrie d’information que nous observons entre les développeurs et les régulateurs. La Food and Drug Administration (FDA) a accès à des informations qui lui permettent de réglementer les dispositifs médicaux, par exemple. Il existe une relation continue entre le développeur et le régulateur tout au long du cycle de vie du produit. Il est possible de procéder à un examen ciblé fondé sur des normes spécifiques. C’est une bonne manière d’aborder les chaînes de valeur où l’origine du risque est très incertaine, et c’est également un bon moyen pour un régulateur d’apprendre et de monter en compétence au fil du temps, en identifiant des points de contrôle où il peut accéder à des informations de grande valeur.
Il existe une responsabilité importante en amont de la mise sur le marché pour les développeurs et les employeurs. Puis, après la mise sur le marché, il faut un régulateur solide capable d’examiner le risque tout au long du cycle de vie. Cela renvoie probablement à la deuxième et à la troisième ligne de défense, qui devraient être appuyées par ce que nous appelons un écosystème d’inspection. Cela signifie un accès pour les auditeurs, comme l’a mentionné Martin, ou un accès pour des praticiens de red teaming dûment évalués.
Le principal défi est une question d’incitations. L’AI Act n’imposera probablement pas d’obligation de réaliser des audits indépendants ou des tests adversariaux avec des praticiens de red teaming validés. La question est donc de savoir quelles incitations auront les fournisseurs qui, sans levier réglementaire, ne s’ouvriront pas nécessairement à ce type d’examen. C’est ce à quoi nous réfléchirons dans la suite.
Une question nous vient du public : travaillez-vous sur un document de correspondance qui aligne le cadre de gestion des risques du NIST sur l’AI Act de l’UE ?
CA : Il y a eu tellement d’exercices de correspondance différents entre le cadre de gestion des risques (RMF), l’AI Act de l’UE et diverses autres propositions que je serai ravie de vous partager quelques ressources afin que vous puissiez les consulter.
MK : Même si un tel document existait, il n’y aura jamais, à l’avenir, de certitude juridique totale quant aux exigences applicables à chacun dans une juridiction donnée. Le contexte restera toujours dynamique. Nous devrons toujours composer avec un certain niveau d’incertitude et apprendre à l’accepter. Une partie de la solution consiste à élaborer ses propres normes, spécifiques à son propre contexte. Repartir du début et, au lieu de laisser cela aux décideurs publics, le résoudre soi-même dans son propre contexte. Définissez certaines de vos propres normes et constituez-en une piste d’audit. Vous pourrez utiliser cette piste d’audit lorsque vous voudrez assurer la transparence en matière de responsabilité, pour chaque étape du cycle de vie.
Mais je mettrais en garde contre l’idée selon laquelle il suffirait de jeter dans un LLM, ou dans une plateforme qui cartographie parfaitement les documents, les différentes normes et exigences des juridictions, puis de simplement cocher toutes les cases pour être en règle : ce n’est pas réaliste, car nous sommes dans un environnement dynamique.
RD : Je suis tout à fait d’accord. Nous publierons très prochainement un guide gratuit sur les politiques en matière d’IA qui aborde précisément ces points, à savoir la nécessité d’adapter certains de ces cadres à votre organisation et de comprendre ce qui compte pour vous. Il ne s’agit pas simplement de prendre un modèle prêt à l’emploi.
Une question porte sur la propriété intellectuelle et la manière dont elle va se concrétiser dans ce domaine.
Ryan : Les incitations sont également un élément clé dans tout cela, et elles ne sont pas toujours celles que l’on imagine. Pour illustrer la manière dont cela se joue actuellement, de fortes préoccupations de propriété intellectuelle entourent nombre de ces grands modèles de fondation, car ils ont puisé leurs données absolument partout. Ce que l’on voit chez certains grands fournisseurs — ceux qui disposent déjà de vastes jeux de données —, c’est la mise en place de clauses d’indemnisation en matière de propriété intellectuelle, du type : « Nous vous indemniserons contre toute réclamation quiconque pourrait un jour introduire, affirmant que vous avez violé des lois sur la propriété intellectuelle n’importe où dans le monde, car nous sommes absolument certains de détenir l’ensemble des données sur lesquelles ce modèle a été entraîné, au point de penser qu’une telle situation ne se produira jamais ; nous pouvons donc vous accorder cette indemnisation en toute confiance. » Cela inspire une grande confiance dans ce type de produits.
Plutôt que d’attendre des règles précises en matière de propriété intellectuelle et de grands modèles, les organisations prennent l’initiative et disent qu’elles vont entièrement retirer ce risque des mains du client. Elles vont rendre leurs outils dignes de confiance. Je trouve cela particulièrement convaincant, et cela montre que les incitations sont parfois un peu différentes de ce que l’on pourrait imaginer au départ. De même, dans le domaine de la cybersécurité, de nombreuses normes élevées doivent être respectées par les entreprises SaaS (Software as a Service), comme l’ISO/IEC 27001 et le SOC 2, sans que les régulateurs l’exigent.
Mais les organisations ont des incitations de marché à se conformer aux normes, car personne n’achètera votre logiciel si vous ne respectez pas les niveaux les plus élevés possibles de normes de cybersécurité pour protéger leurs données. Cette incitation du marché est parfois sous-estimée.
Le décret exécutif aura un impact considérable, mais il existe aussi de nombreuses initiatives au niveau des États aux États-Unis, n’est-ce pas ? Je pense par exemple à la loi locale 144 de New York, qui semble relever du niveau des États et se concentrer sur des secteurs spécifiques. Comment pensez-vous que l’ensemble de ces initiatives va s’articuler avec le cadre fédéral plus large ?
CA : C’est une très bonne question. Nous allons voir une forte activité au niveau des États l’an prochain, en particulier en l’absence d’action du Congrès. Beaucoup d’attention a été portée aux forums AI Insight du Sénat, sous l’impulsion du leader de la majorité Chuck Schumer. Il a réuni une dizaine de tables rondes thématiques avec des experts de premier plan en IA, ainsi que d’autres échanges sur des sujets précis comme la transparence, l’explicabilité, la sécurité nationale, les biais et les droits civiques. Mais les réalités politiques à Washington sont ce qu’elles sont. Une grande élection approche l’an prochain. Une élection très déterminante. Il est très improbable que, même si nous réalisons de grands progrès au Sénat sur une législation éclairée par les forums Insight et la mise en œuvre du décret exécutif, nous parvenions à faire adopter un texte global, ou à traiter un grand nombre des préjudices liés à l’IA qui nous préoccupent.
Dans ce vide, de nombreux États ont déjà commencé à prendre le relais. New York a adopté la loi locale 144, qui exige des audits de biais pour tout type d’utilisation de technologies d’IA dans le recrutement, mais aussi dans l’emploi. Si votre entreprise réalise une forme quelconque de surveillance des travailleurs, d’entretiens ou de points de suivi facilitée par la technologie d’IA, vous devrez effectuer un audit de biais. La mise en œuvre est encore en cours de clarification. Nous verrons beaucoup de projets de loi sectoriels, ainsi que des textes visant à renforcer les talents en IA et l’efficacité au sein des administrations d’État. Concernant les projets de loi sectoriels, le Colorado dispose d’une loi sur l’assurance qui examine la manière dont les sources de données sont utilisées et dont les données sont analysées via l’IA pour les décisions d’assurance. Cette loi est désormais en vigueur, et sa mise en œuvre est en cours. Dans le Connecticut, le sénateur d’État James Maroney a présenté un groupe de travail interétatique sur l’IA, réunissant un groupe de législateurs de différents horizons au niveau de l’État, qui sont réellement préoccupés par ces questions, qu’il s’agisse de biais et de discrimination ou de l’intégrité des élections.
Et pourriez-vous nous dire comment l’élection présidentielle de 2024 pourrait affecter l’exécution du décret exécutif de Biden sur l’IA ?
CA : Je suis bien consciente que l’administration Biden est très focalisée sur la mise en œuvre de ce décret exécutif autant que possible à l’approche de l’année électorale. Et tout particulièrement dans le contexte du précédent décret exécutif sur l’IA, qui n’avait pas tout à fait atteint son objectif en matière de mise en œuvre. Il sera vraiment très intéressant de voir ce qui se passera l’an prochain. Trump lui-même a déjà déclaré sur la campagne qu’au premier jour, il abrogera le « décret exécutif Woke sur l’IA » du président Biden afin de protéger la liberté d’expression. Quelle que soit votre sensibilité politique, je pense qu’il s’agit là d’éléments de langage et de positions très prévisibles ; et ma principale conclusion est que la gouvernance de l’IA est une question politique aux États-Unis, et qu’elle continuera de l’être, en particulier à l’approche de cette élection. Il y a beaucoup à surveiller au niveau fédéral. Plus important encore, il faut prêter attention à ce qui se passe au niveau des États, car de nombreux élus en devenir s’intéressent réellement à ces sujets.
Des élections auront également lieu en Europe l’an prochain. Quel impact cela aura-t-il sur le calendrier de l’AI Act de l’UE, en particulier sur son entrée en vigueur ?
CD : J’espère que cela n’aura aucun impact. Il existe une faible probabilité que cela en ait un. Si tel était le cas, il faudrait achever la rédaction technique du texte au plus tard en mars afin qu’il ne soit pas affecté par les élections. Les travaux commenceraient donc essentiellement en mars. À ce stade, tout semble indiquer qu’ils disposent de largement assez de temps. Je n’anticipe pas de difficultés. Il pourrait y en avoir s’il y avait une opposition importante. La France pourrait intervenir de manière obstructive pour tenter de bloquer le texte. Si cela devait se produire, on risquerait de ne pas parvenir à un accord d’ici mars. En pratique, cela signifierait que les travaux seraient reportés à 2025, ce qui serait, au minimum, très compliqué, car de nouveaux parlementaires seraient alors élus. Il se peut que ce ne soient pas les mêmes personnes au Parlement, et de nouvelles personnes reprendraient le dossier avec des priorités différentes.
En supposant que tout se poursuive comme prévu, le texte entrerait en application deux ans après sa publication au Journal officiel de l’UE. Ils publieront probablement le texte début 2024, de sorte que 2026 sera l’année de la mise en conformité de la plupart des applications d’IA. Pour les modèles d’IA à usage général présentant un risque systémique, l’objectif est une entrée en application un an après la publication.
Cela conclut une discussion très éclairante sur le développement responsable et la gouvernance des systèmes d’IA. Je tiens à remercier sincèrement nos panélistes, Connor, Martin, Chloe et Ryan, pour avoir partagé leur expertise et leurs perspectives. Un grand merci également à tous nos participants pour leur présence parmi nous — je vous invite à poursuivre cette conversation sur notre page événement et nos canaux de réseaux sociaux.
L’enregistrement complet du webinaire est disponible sur YouTube.
Enzai est la plateforme de gouvernance d’entreprise de l’IA de référence, conçue spécialement pour aider les organisations à passer d’une politique abstraite à une supervision opérationnelle. Notre plateforme de gestion des risques liés à l’IA fournit l’infrastructure spécialisée nécessaire pour gérer la gouvernance de l’IA agentique, maintenir un inventaire de l’IA complet et garantir la conformité au AI Act de l’UE. En automatisant des flux de travail complexes, Enzai permet aux entreprises d’accélérer l’adoption de l’IA avec confiance, tout en restant alignées sur des normes mondiales telles que ISO 42001 et NIST.
Donnez à votre organisation les moyens d'adopter, de gérer et de surveiller l'IA avec une confiance de niveau entreprise. Conçu pour les organisations réglementées opérant à grande échelle.