Serveur MCP Enzai
Se connecte à votre IA.
Tout agent compatible MCP bénéficie de la même connexion encadrée, là où vos équipes travaillent déjà.
Quelques-unes de nos intégrations
Outils de workflow
Jira, ServiceNow
Fournisseurs de modèles
Anthropic, OpenAI
Outils d’agents
Copilot Studio, Claude Enterprise
Environnements de développement
Azure AI Foundry, Amazon Bedrock, Databricks

Blog

L'avenir de la gouvernance de l'IA : les perspectives de nos experts

L'avenir de la gouvernance de l'IA : les perspectives de nos experts

L'avenir de la gouvernance de l'IA : les perspectives de nos experts

Notre panel d'experts en gouvernance de l'IA s'exprime sur les réglementations et les normes, la responsabilité, les trois lignes de défense et bien plus encore.

Notre panel d'experts en gouvernance de l'IA s'exprime sur les réglementations et les normes, la responsabilité, les trois lignes de défense et bien plus encore.

•

29 min de lecture

Nous avons le plaisir de partager les enseignements du panel d’experts de notre récent webinaire, qui réunissait Connor Dunlop (CD), responsable des politiques publiques européennes à l’Ada Lovelace Institute ; Martin Koder (MK), responsable de la gouvernance de l’IA chez SWIFT ; Chloe Autio (CA), conseillère en politique et gouvernance de l’IA ; et Ryan Donnelly (RD), CEO d’Enzai, une solution de gouvernance de l’IA. 

‍

Les réponses des intervenants ont été remaniées par souci de concision et de clarté. 

‍

Après la dernière série de négociations sur l’EU AI Act la semaine dernière, quels sont selon vous les principaux points de blocage, et quelles évolutions espérez-vous de la part de l’UE l’année prochaine ? 

‍

CD : C’est un moment majeur pour Bruxelles et pour l’UE : un accord politique a été trouvé sur le règlement sur l’IA. Ce serait la première réglementation horizontale de l’IA au monde. C’était un moment fort. J’espère qu’il n’y aura pas trop de points de blocage, mais certains apparaîtront lors de la rédaction technique à venir. Avant de parler des points de blocage et des évolutions attendues l’an prochain, j’aimerais rappeler brièvement pourquoi le règlement sur l’IA est important et pourquoi cet accord politique compte. Comme je l’ai dit, ce serait la première réglementation horizontale de l’IA au monde. Et c’est intéressant, car il interdira purement et simplement l’utilisation de certains systèmes d’IA. L’identification biométrique à distance en temps réel dans les espaces publics serait par exemple totalement interdite, avec certaines exceptions pour les forces de l’ordre. Les discussions de cette semaine ont porté sur l’étendue de cette exception. 

‍

Selon la Commission européenne, les systèmes d’IA à haut risque pourraient représenter de 5 à 15 % des systèmes. Cette catégorie engloberait de nombreux cas d’usage du secteur public, par exemple dans la justice ou chez les forces de l’ordre, ainsi que dans d’autres secteurs à fort impact : éducation, santé, etc. Le règlement fixera des règles en matière de gestion des risques et de gouvernance des données, et pour garantir le maintien d’une supervision humaine.  Une nouvelle catégorie pourrait voir le jour, tout juste convenue la semaine dernière. On sait que le projet de règlement classe les systèmes en systèmes interdits, systèmes à haut risque et systèmes à faible risque ; une catégorie « risque systémique » vient désormais s’y ajouter. Elle concerne les modèles d’IA à usage général. C’est là qu’un point de blocage pourrait apparaître, plus précisément sur le seuil de puissance de calcul à partir duquel un système d’IA est considéré comme présentant des risques systémiques. Pour l’instant, ce seuil est assez élevé, de l’avis de notre institut. Le seuil proposé de 10^25 FLOPs ne vise qu’un seul modèle sur le marché, GPT-4. Gemini, de Google DeepMind, pourrait également être concerné, mais ce n’est pas encore clair.

‍

Quant à ce qui nous attend en 2024, le premier trimestre sera encore consacré à la rédaction technique du texte législatif. Les parties prenantes chercheront toujours à peser sur ce processus : les considérants du règlement sur l’IA et les clarifications apportées au texte juridique seront déterminants. Ce travail ne doit pas être négligé en début d’année prochaine. Une évolution potentiellement intéressante est l’accord sur un code de bonnes pratiques pour les modèles d’IA à usage général présentant un risque systémique. Dans un premier temps, il prendra la forme de lignes directrices non contraignantes à l’intention des fournisseurs de modèles à usage général. C’est une porte d’entrée pour la société civile, ce qui est essentiel. Probablement à partir du deuxième trimestre de l’année prochaine, le code de bonnes pratiques concentrera beaucoup d’attention. S’il est bien conçu, il pourrait remédier au déficit démocratique du processus de normalisation. Dernier point à souligner : les travaux de l’UE sur une directive sur la responsabilité en matière d’IA, même s’ils seront interrompus par les élections européennes de l’an prochain.

‍

Nous avons parlé de la sécurité de l’IA dans le contexte européen. Pendant un temps, les États-Unis n’ont pas joué de rôle moteur en matière de réglementation, mais cela a changé avec le décret présidentiel de Joe Biden sur l’IA. Quel est l’état d’esprit aux États-Unis ? Comment voyez-vous la mise en œuvre de ce décret au cours de l’année à venir ?

‍

CA : Pour résumer rapidement, le décret a été publié le 30 octobre, juste avant le sommet britannique sur l’IA. Avec ses 111 pages, c’est le décret le plus long et le plus complet jamais pris par l’administration Biden en matière de technologie ou de politique numérique. Cela montre à quel point l’administration agit de manière délibérée et entend être proactive sur ce sujet.

‍

Le décret mobilise 50 entités différentes. Le département du Commerce pilote une grande partie de la mise en œuvre, en particulier via le NIST, le National Institute of Standards and Technology, que vous connaissez peut-être pour ses travaux sur l’AI Risk Management Framework, devenu un cadre de référence volontaire en matière de gouvernance de l’IA. Le décret a également créé plus de 150 nouvelles directives, c’est-à-dire des actions, des rapports, des lignes directrices, toutes sortes de règles ou de politiques, ainsi que des rapports propres à chaque agence, à mettre en œuvre dans un délai de 30 à 365 jours. En somme, il y a beaucoup de travail à accomplir. Et l’accueil a été très, très positif.

‍

Lors de mes échanges avec des interlocuteurs au Capitole, mais aussi au sein de l’administration et de l’industrie, j’ai constaté beaucoup d’enthousiasme pour la feuille de route tracée par le décret, et une grande curiosité quant à sa mise en œuvre. 

‍

C’est une différence par rapport aux décrets précédents, en particulier celui de l’administration Trump sur l’IA digne de confiance. Une grande partie des directives de ce décret n’ont jamais vraiment abouti. Parmi elles figuraient le recensement des cas d’usage de l’IA, l’élaboration de différentes lignes directrices de gestion des risques pour les agences, ou encore la rédaction par l’Office of Management and Budget d’un mémorandum expliquant comment adopter et mettre en œuvre l’IA de manière responsable. Rien de tout cela n’a été finalisé. Avec ce décret, je pense donc que, sur le fond comme sur la forme, l’accent sera beaucoup plus mis sur la mise en œuvre, avec une mobilisation de l’ensemble du gouvernement pour y parvenir. 

‍

Il faut bien comprendre qu’avant la publication du décret, le gouvernement américain travaillait déjà beaucoup sur la gouvernance de l’IA. S’il est vrai que le Congrès n’a pas adopté de loi omnibus ou de loi horizontale sur la gouvernance de l’IA comme celle de l’UE, de nombreuses agences gouvernementales (l’EEOC, l’Equal Employment Opportunity Commission ; le NIST lui-même, avec l’AI Risk Management Framework ; le CFPB, le Consumer Financial Protection Bureau) ont publié différents types de lignes directrices pour traiter des préjudices bien connus liés à l’IA. Le décret s’appuie sur l’excellent travail mené par bon nombre de ces agences. Ce travail a contribué à orienter le décret.

‍

Le décret couvre un très large éventail de sujets : il porte sur la sécurité nationale, en ce qui concerne l’accès aux modèles et la protection contre les risques futurs. Il accorde aussi une large place à la vie privée, à la protection des consommateurs et à la propriété intellectuelle. 

‍

Dans ce cadre, les agences sont tenues de recenser les différentes sources de données, y compris celles provenant de courtiers en données, afin de bien comprendre les implications pour la vie privée, c’est-à-dire de savoir d’où proviennent les données de ces modèles. Beaucoup d’acteurs et de défenseurs de la société civile, et moi la première, sont impatients de voir où cela mènera. L’office américain des brevets et des marques (USPTO) publiera par ailleurs de nouvelles lignes directrices sur les règles de propriété intellectuelle et sur la qualité d’inventeur dans le cas de l’IA. Ce sera également très intéressant. 

‍

Le décret met aussi fortement l’accent sur l’équité et la non-discrimination. Il charge les principales agences de régulation du gouvernement américain, le DOJ, l’EEOC et d’autres au sein du DHS, de se concerter pour décider de leurs investissements et, le cas échéant, élaborer de nouvelles lignes directrices pour lutter contre les préjudices liés à l’IA. Nous n’avions pas encore vraiment vu d’effort coordonné en ce sens. Le décret l’a formalisé. Il s’agit de questions comme la non-discrimination dans le logement ou l’accès au crédit, des préjudices liés à l’IA que nous savons tous bien documentés depuis longtemps. Il sera très intéressant de voir quelle stratégie d’application le gouvernement définira sur ces sujets.

‍

Le décret couvre également le travail et les droits des travailleurs. Il demande aux agences de fournir des lignes directrices sur la manière dont elles utilisent des systèmes d’IA, ou dont les prestataires de l’État fédéral les utilisent, dans leurs processus de recrutement. Nous avons tous entendu parler de l’AI Safety Institute britannique. Le NIST a lui aussi créé un AI Safety Institute, qui travaillera notamment à examiner la sécurité et la robustesse des modèles de fondation et des modèles d’IA, à développer des processus de red teaming et à s’appuyer sur les processus de gestion des risques existants pour renforcer réellement la sécurité de ces modèles.

‍

Enfin, le décret met très fortement l’accent sur le renforcement des talents en IA au sein du gouvernement américain. C’est une statistique triste, mais bien réelle : seuls 1 % des nouveaux docteurs en informatique et en IA aux États-Unis rejoignent la fonction publique fédérale. Énormément de professionnels de l’IA très talentueux partent dans le secteur privé, dans le monde universitaire ou dans les grands laboratoires. Mais seule une petite partie d’entre eux finit par travailler dans le secteur public et contribuer à ses objectifs et à ses besoins, en améliorant les services publics. Le décret introduit de nouvelles règles et modifications, notamment de légers ajustements des politiques d’immigration, pour permettre aux spécialistes de l’IA nés à l’étranger et formés aux États-Unis de rester dans le pays et de contribuer à l’écosystème américain. Voilà un aperçu très général des grands thèmes qui traversent ce décret.

‍

Où en est le Royaume-Uni ? Je sais que vous avez été étroitement associé aux discussions menées ici, tant avec des dirigeants de l’IA qu’avec le gouvernement à Downing Street. Y a-t-il eu des avancées depuis le sommet sur la sécurité de l’IA ?

‍

RD : Pour résumer rapidement la situation au Royaume-Uni, le gouvernement est parti d’une approche dite « pro-innovation » de la réglementation de l’intelligence artificielle. L’idée était de faire du Royaume-Uni un leader mondial de l’intelligence artificielle. Cette approche reprend bon nombre des points évoqués sur la promotion des talents et la nécessité de ne pas surcharger les organisations, ainsi que sur la façon dont le gouvernement peut mettre en place une infrastructure qui favorise réellement l’innovation autour de ces technologies extraordinaires. Le premier livre blanc sur le sujet a été publié il y a quelques années. En tant qu’entreprise, nous avons contribué directement à ces propositions. Au départ, il s’agissait de simples orientations et, au fil du temps, l’un des retours reçus a été que cette approche pro-innovation de la réglementation de l’IA était dépourvue de tout caractère contraignant. Le gouvernement a pris ces critiques en compte et devait faire un choix : réglementer l’IA ou ne pas la réglementer ? 

‍

La deuxième version de l’approche pro-innovation s’est montrée assez créative. J’ai parlé de deux options. Il y en avait peut-être une troisième : le projet de réglementation de l’IA au Royaume-Uni consiste à faire porter la charge de la réglementation aux régulateurs sectoriels existants, en leur disant : « Vous êtes la Financial Conduct Authority ou l’autorité de la concurrence, vous réglementez déjà votre domaine. Vous devez aussi examiner la manière dont l’IA est utilisée dans le cadre de vos compétences actuelles. » Il s’agira de veiller à ce que les systèmes d’IA respectent des principes transsectoriels. Cette approche fait peser une obligation sur l’industrie.

‍

Il a été question d’aller encore plus loin en présentant un projet de loi sur l’IA, et je pense que le gouvernement a sérieusement étudié cette option. La question restait ouverte à l’approche du sommet sur la sécurité de l’IA. À l’issue du sommet, il a été décidé de ne pas chercher à introduire de réglementation supplémentaire au Royaume-Uni. Il y a bien eu un projet de loi complémentaire sur les véhicules autonomes, mais rien de comparable à l’EU AI Act, que certains envisageaient peut-être à l’époque. Une nouvelle version de cette approche pro-innovation sera publiée au début de l’année prochaine. J’en ai discuté de près avec plusieurs interlocuteurs au DSIT. Il est très peu probable qu’un texte législatif horizontal comme celui adopté en Europe voie le jour au Royaume-Uni.

‍

L’approche est différente à bien des égards. L’une des principales critiques adressées à l’approche pro-innovation, qui fait reposer la charge sur les régulateurs sectoriels, est l’absence de fonction de coordination. Sans fonction centrale pour assurer la cohérence en coulisses, un régulateur peut retenir une interprétation d’un aspect de la chaîne de valeur, tandis qu’un autre adopte l’interprétation inverse sur la même question. Le marché est donc très incertain, et c’est un retour que le gouvernement s’efforce de prendre en compte dans la dernière version de son livre blanc. À l’inverse, l’EU AI Act fait l’objet de la critique presque opposée : certains le jugent trop horizontal et estiment qu’il faudrait tenir compte des spécificités de chaque secteur et de leurs nuances. 

‍

Nous avons évoqué les différentes approches réglementaires aux États-Unis, dans l’UE et au Royaume-Uni, et nous savons que des initiatives similaires existent au Brésil, en Chine et dans le monde entier. Pourquoi une cohérence internationale serait-elle si précieuse, et quels avantages voyez-vous à l’établissement de normes mondiales ?

‍

MK : Je suis heureux de vous parler de SWIFT et de la manière dont nous abordons certaines de ces questions. En guise d’introduction, SWIFT est la Society for Worldwide Interbank Financial Telecommunications. Nous sommes une organisation neutre, à but non lucratif, qui exploite l’infrastructure de messagerie des paiements internationaux. La gouvernance occupe une place très importante chez nous. Avec nos clients, les grandes institutions financières, nous mettons en avant les capacités de gestion des risques, très étendues et matures, dont disposent déjà les prestataires de services financiers établis. Dans le cadre du modèle des trois lignes de défense, nous avons la gestion des prestataires, la gouvernance des produits, la gouvernance des données, les contrôles de sécurité, les évaluations relatives à la vie privée, etc. Nous avons d’innombrables comités et processus, et des armées de collaborateurs qui examinent ces questions. Cela nous place déjà à 70 % en ligne avec ce qu’attendent les décideurs politiques. 

‍

Il peut subsister une ou deux lacunes dans certains domaines. Mais il s’agit peut-être surtout d’adopter le vocabulaire de la réglementation sur la gouvernance de l’IA : l’explicabilité, qui en termes juridiques renvoie à la question de la responsabilité face au risque. Et des principes comme l’équité existent déjà sous la forme de la non-discrimination, etc. 

‍

Il s’agirait donc d’extraire de tous les processus dont vous disposez déjà (évaluation des risques, identification, suivi des impacts, etc.) les informations de pilotage correspondant aux indicateurs définis que les régulateurs attendent en matière d’IA responsable et de gestion des risques liés à l’IA. Ces indicateurs couvrent plusieurs dimensions : équité, auditabilité, redevabilité, exactitude. Il faut ensuite présenter ces informations de manière standardisée, afin que les décideurs de l’organisation (direction générale, conseil d’administration, directeur des risques, directeur juridique, etc.), qui n’ont pas forcément une grande expertise des données ou de l’IA, puissent les comprendre. Cette démarche doit être reproductible, donner à la direction des garanties sur lesquelles fonder ses décisions et fournir des garanties pouvant être mises à la disposition de quiconque les demande, qu’il s’agisse du régulateur, des clients ou d’autres parties prenantes.

‍

Ce que je dirais aux clients, c’est : pas de panique. Surtout si vous êtes une institution mature, vous disposez déjà de capacités de gestion des risques considérables pour aborder la gouvernance de l’IA.

‍

S’agissant des normes mondiales, la culture de l’entreprise, sa capacité à mener des processus génériques de gestion des risques et l’infrastructure dont elle dispose vous permettront d’obtenir les garanties nécessaires. Définissez vos propres normes, adaptées à votre contexte. Vous pourrez ensuite les adapter aux exigences des différentes juridictions grâce à plusieurs stratégies : nouer des partenariats dans différentes régions du monde, par exemple avec vos clients, vos prestataires, des universitaires ou des régulateurs. Vous pouvez siéger dans des groupes de travail consacrés à de nouveaux domaines, comme les technologies renforçant la confidentialité (PET), pour comprendre quelles normes ils suivent, connaître le contexte local dans certains domaines et reformuler les garanties que vous pouvez apporter en fonction des réglementations locales. 

‍

Connor parlait de catégories et de seuils. J’ai bien peur que ce soit tout simplement ainsi que fonctionne la réglementation. Les régulateurs créent toujours des catégories. Ensuite, on se plaint que telle chose n’est pas dans la bonne catégorie ou que le seuil n’est pas au bon niveau, mais ces éléments évoluent avec le temps. Je pense que les régulateurs ont plutôt bien travaillé dans l’ensemble, sachant que la plupart des responsables des politiques publiques n’ont pas une grande expertise en apprentissage automatique. Le NIST est une organisation clé à suivre. Il y a énormément de bruit autour de ce qui constitue les bonnes pratiques en matière de gouvernance de l’IA et de la manière de gérer les différentes normes réglementaires émergentes. Le rapport signal/bruit s’est même nettement dégradé au cours de l’année écoulée. Il est beaucoup plus difficile d’y voir clair et de savoir à quelles organisations se fier. Le mieux est de tirer parti de ce dont vous disposez déjà, par exemple les trois lignes de défense.

‍

Pour revenir aux remarques de Ryan sur le Royaume-Uni, je pense que le pays s’est montré plutôt habile sur trois plans. Tout d’abord, il a créé l’AI Safety Institute. Le Royaume-Uni pourra examiner tous les modèles de fondation de pointe des entreprises américaines, puisqu’ils seront contrôlés par les agences américaines et britanniques. Ensuite, le Royaume-Uni reste membre de l’organisme de normalisation habilité à établir les normes du règlement européen. D’une certaine manière, il conserve donc une place à la table lors de la phase de normalisation du règlement européen sur l’IA. Enfin, l’obligation faite aux entreprises par le règlement européen de démontrer qu’elles disposent d’un système de gestion des risques sera une aubaine pour les cabinets de conseil, dont beaucoup sont basés à Londres. Nombre d’entre eux pourraient donc tirer un chiffre d’affaires appréciable de ce règlement.

‍

Vous évoquez les trois lignes de défense. C’est un concept bien connu dans les services financiers et l’assurance, mais beaucoup moins dans les autres secteurs. Dans quelle mesure les trois lignes de défense s’appliquent-elles à la gestion des risques liés à l’IA, et pensez-vous que d’autres organisations devraient s’y intéresser ?

‍

MK : Cela dépend vraiment de votre secteur. De manière générale, le message qui est ressorti du sommet sur la sécurité de l’IA est que, tout au long de l’histoire, certains secteurs ont été jugés peu sûrs et ont suscité de l’inquiétude, ce qui n’est plus le cas aujourd’hui. C’est grâce aux normes de sécurité que nous avons maîtrisé ces risques et gagné la confiance de la société. Prenez l’aviation, ou les transports en général : personne n’hésite à monter dans un avion, car chacun sait qu’il existe des contrôles et des réglementations de sécurité stricts. Prenez l’industrie pharmaceutique et l’approche par phases des essais cliniques : certains suggèrent d’adopter cette approche pour les modèles de fondation. Une partie de la mission des instituts de sécurité de l’IA consiste à étudier la transposabilité des normes de ces secteurs très réglementés à l’univers de l’IA. 

‍

Le modèle des trois lignes de défense est assez propre au secteur des services financiers. Mais son principe reste pertinent pour d’autres secteurs. La première ligne, ce sont les métiers, les responsables produit. Ils sont propriétaires du risque et ont la responsabilité d’identifier les risques et les contrôles, de mettre en place les mesures d’atténuation et de suivre les résultats. La responsabilité incombe aux métiers. La deuxième ligne regroupe toutes les fonctions support : gestionnaires des risques, juristes, équipe de gouvernance des données, équipe de cybersécurité, etc. Elles apportent leur expertise spécialisée, au moyen d’ateliers pluridisciplinaires, pour identifier tous les enjeux avec les métiers, et aident ces derniers à se réunir, à recenser et à noter quantitativement tous les risques au regard de l’appétence au risque définie pour un projet donné. La deuxième ligne vous aide aussi à assurer le suivi. Enfin, la troisième ligne, ce sont les auditeurs, qui interviennent périodiquement pour vérifier que tout le travail d’identification et de gestion des risques que vous avez réalisé correspond bien à ce que vous avez déclaré. De manière générale, il s’agit d’examiner les secteurs qui disposent déjà de mesures de sécurité avancées et de voir ce qui peut être transposé à ce secteur. 

‍

Il est essentiel que les mesures soient adaptées à votre activité. Si vous exploitez un service B2B (business to business) de back-office qui détecte des anomalies par régression logistique sur des données tabulaires, les questions de droits fondamentaux ne constituent pas forcément le principal risque de votre usage de l’IA. 

‍

Vous venez d’aborder un point très intéressant : la propriété du risque. Cela nous amène directement à la question de la responsabilité. Selon vous, à qui incombe en dernier ressort la responsabilité de la gestion des risques liés à l’IA tout au long de la chaîne de valeur ?

‍

CD : Nous avons beaucoup réfléchi à cette question à l’Ada Lovelace Institute. Comme l’a dit Martin, le concept de lignes de défense multiples s’applique très bien à la chaîne de valeur de l’IA. L’une des difficultés que nous avons rencontrées avec l’EU AI Act tient à l’accent mis sur la phase de déploiement, parce que le législateur a adopté une logique de sécurité des produits. Dans nos recherches, nous constatons sans cesse que la réalité est bien plus complexe. Le risque peut naître à n’importe quel stade de la chaîne de valeur : il n’existe donc pas de réponse universelle quant à l’attribution de la responsabilité. 

‍

Ce qui est clair, c’est que la responsabilité doit être répartie tout au long de la chaîne de valeur. Par exemple, les décisions prises lors de la conception et du développement, ou le choix des données utilisées pour entraîner le modèle, auront forcément un impact sur les résultats, jusque dans la couche applicative au moment du déploiement. Réfléchir à l’origine du risque est un repère utile. L’origine du risque est très importante. Sa propagation est aussi un point clé sur lequel les régulateurs doivent se concentrer. Le risque peut se propager, par exemple, une fois le modèle mis en ligne sur un service d’hébergement cloud et rendu accessible par API : c’est à ce moment-là qu’un élément potentiellement préjudiciable peut être amplifié par une accessibilité élargie. Cela peut constituer un point d’intervention utile pour les régulateurs, qui peuvent alors se demander d’où vient le risque et comment l’atténuer.

‍

On ne peut pas dire clairement à qui incombe la responsabilité : elle doit être partagée et très ciblée en fonction de l’origine du risque. Il existe des modèles de gouvernance intéressants dont nous pouvons nous inspirer dans d’autres secteurs, par exemple les trois lignes de défense. Nous nous sommes récemment penchés sur la réglementation des sciences de la vie aux États-Unis, en nous demandant en substance à quoi pourrait ressembler une FDA de l’IA. Nous publierons nos travaux à ce sujet dans les prochains jours. L’essentiel est d’accéder à des informations à forte valeur, afin de remédier à l’asymétrie d’information que nous observons entre les développeurs et les régulateurs. La Food and Drug Administration (FDA), par exemple, a accès aux informations nécessaires pour réglementer les dispositifs médicaux. Il existe une relation continue entre le développeur et le régulateur tout au long du cycle de vie du produit. Des contrôles ciblés fondés sur des normes spécifiques sont possibles. C’est un bon moyen de traiter les chaînes de valeur où l’origine du risque est très floue, et c’est aussi un bon moyen pour un régulateur d’apprendre et de monter en compétence au fil du temps, en identifiant des points de contrôle où il peut accéder à des informations à forte valeur. 

‍

Avant la mise sur le marché, une responsabilité importante pèse sur les développeurs et les déployeurs. Ensuite, après la mise sur le marché, il faut un régulateur fort, capable d’examiner les risques tout au long du cycle de vie. Cela renvoie sans doute aux deuxième et troisième lignes de défense, qui devraient s’appuyer sur ce que nous appelons un écosystème d’inspection, c’est-à-dire un accès pour les auditeurs, comme l’a mentionné Martin, ou pour des équipes de red teaming habilitées.

‍

Le principal défi est une question d’incitations. Le règlement sur l’IA n’imposera probablement pas d’audits indépendants ni de tests adverses par des équipes de red teaming habilitées. La question est donc de savoir quelles incitations offrir aux fournisseurs, qui ne s’ouvriront pas forcément à ce type de contrôle sans levier réglementaire. C’est la question sur laquelle nous allons nous pencher à l’avenir.

‍

Une question du public : travaillez-vous sur un document de correspondance entre l’AI Risk Management Framework du NIST et l’EU AI Act ?

‍

CA : Il y a eu de très nombreux exercices de mise en correspondance entre le Risk Management Framework (RMF), l’EU AI Act et diverses autres propositions. Je me ferai un plaisir de rassembler quelques ressources et de les partager avec vous tous. 

‍

MK : Même si un tel document existait, nous n’atteindrons jamais une sécurité juridique totale quant aux exigences applicables dans une juridiction donnée. Le contexte restera toujours évolutif. Nous devrons toujours composer avec une certaine part d’incertitude et apprendre à nous en accommoder. Une partie de la solution consiste à élaborer ses propres normes, adaptées à son contexte. Revenez aux fondamentaux et, au lieu de vous en remettre aux décideurs politiques, définissez vous-même ce qui convient à votre contexte. Fixez vos propres normes et constituez une piste d’audit au regard de celles-ci. Vous pourrez utiliser cette piste d’audit pour apporter de la transparence et rendre des comptes, à chaque étape du cycle de vie.

‍

Mais je mettrais quiconque en garde contre l’idée qu’il suffirait de verser les normes et exigences des différentes juridictions dans un LLM, ou dans une plateforme qui met entièrement les documents en correspondance, et qu’une organisation n’aurait plus qu’à cocher toutes les cases pour être en règle. Ce n’est pas réaliste, car l’environnement restera évolutif. 

‍

RD : Je suis tout à fait d’accord. Nous allons publier très prochainement un guide gratuit sur les politiques d’IA qui aborde précisément ces points : vous devez adapter certains de ces cadres à votre organisation, les passer en revue et comprendre ce qui compte pour vous. Il ne s’agit pas simplement d’appliquer des solutions toutes faites. 

‍

Une question porte sur la propriété intellectuelle et sur la façon dont elle va évoluer dans ce domaine. 

‍

Ryan : Les incitations sont aussi un élément clé dans tout cela, et elles ne sont pas toujours celles que l’on imagine. Pour donner un exemple concret de la situation actuelle, bon nombre de ces grands modèles de fondation soulèvent de vives préoccupations en matière de propriété intellectuelle, car leurs données proviennent absolument de partout. Certains grands fournisseurs, ceux qui possèdent déjà de vastes jeux de données, proposent des garanties d’indemnisation en matière de propriété intellectuelle, en affirmant : « Nous vous indemniserons contre toute réclamation, quelle qu’elle soit, selon laquelle vous auriez enfreint le droit de la propriété intellectuelle, où que ce soit dans le monde, car nous sommes tellement certains de posséder l’ensemble des données sur lesquelles ce modèle a été entraîné que nous ne pensons pas que cela arrivera un jour, et nous pouvons donc vous offrir cette garantie en toute confiance ». Cela inspire une grande confiance dans ce type de produits.

‍

Plutôt que d’attendre des règles spécifiques sur la propriété intellectuelle et ces grands modèles, les organisations prennent l’initiative et affirment : nous allons totalement décharger le client de ce risque. Nous allons rendre nos outils dignes de confiance. Je trouve cela très convaincant, et cela montre que les incitations sont parfois un peu différentes de ce que l’on pourrait imaginer au départ. De même, dans le domaine de la cybersécurité, les éditeurs SaaS (Software as a Service) doivent satisfaire à de nombreuses normes exigeantes, comme ISO/IEC 27001 et SOC 2, qui ne sont pas imposées par les régulateurs. 

‍

Mais le marché incite les organisations à se conformer à ces normes, car personne n’achètera votre logiciel si vous ne respectez pas les normes de cybersécurité les plus exigeantes pour protéger ses données. Cette incitation du marché est parfois négligée.

‍

Le décret va avoir un impact considérable, mais il existe aussi de nombreuses initiatives au niveau des États américains, n’est-ce pas ? Je pense par exemple à la Local Law 144 de New York. Ces initiatives semblent relever des États et cibler des secteurs spécifiques. Comment, selon vous, toutes ces mesures vont-elles s’articuler avec le cadre fédéral plus large ?

‍

CA : C’est un excellent point. Nous allons voir énormément d’initiatives au niveau des États l’année prochaine, notamment en l’absence d’action du Congrès. L’attention s’est beaucoup portée sur les AI Insight Forums organisés au Sénat par le chef de la majorité, Chuck Schumer. Il a réuni une dizaine de tables rondes thématiques avec des experts de premier plan en IA, ainsi que d’autres discussions sur des sujets précis comme la transparence, l’explicabilité, la sécurité nationale, les biais et les droits civiques. Mais les réalités politiques à Washington sont ce qu’elles sont. Une élection majeure se profile l’année prochaine, une élection aux enjeux considérables. Même si le Sénat progresse nettement sur une législation éclairée par les Insight Forums et la mise en œuvre du décret, il est très peu probable qu’une loi globale aboutisse, ou que nous parvenions à traiter bon nombre des préjudices liés à l’IA qui nous préoccupent. 

‍

Face à ce vide, de nombreux États ont déjà commencé à intervenir. La ville de New York a adopté la Local Law 144, qui impose des audits de biais pour toute utilisation de technologies d’IA dans le recrutement, mais aussi dans la gestion de l’emploi. Si votre entreprise recourt à l’IA pour la surveillance des salariés, les entretiens ou les points de suivi, vous devrez réaliser un audit de biais. Les modalités de mise en œuvre sont encore en cours de définition. Nous verrons de nombreux projets de loi sectoriels, ainsi que des textes visant à renforcer les talents en IA et l’efficacité des administrations des États. Parmi les textes sectoriels, le Colorado dispose d’une loi sur les assurances qui encadre l’utilisation des sources de données et l’analyse des données par l’IA dans les décisions d’assurance. Cette loi est déjà en vigueur et sa mise en œuvre est en cours. Dans le Connecticut, le sénateur d’État James Maroney a lancé un groupe de travail inter-États sur l’IA, qui réunit au niveau des États des législateurs très préoccupés par ces questions, qu’il s’agisse de biais et de discrimination ou de l’intégrité des élections.

‍

Pourriez-vous nous dire comment l’élection présidentielle de 2024 pourrait influer sur la mise en œuvre du décret présidentiel de Joe Biden sur l’IA ? 

‍

CA : Je sais que l’administration Biden est déterminée à mettre en œuvre la plus grande partie possible de ce décret à l’approche de l’année électorale, d’autant que le précédent décret sur l’IA n’avait pas vraiment atteint son objectif en matière de mise en œuvre. Il sera très intéressant de voir ce qui se passera l’année prochaine. Donald Trump lui-même a d’ailleurs déjà déclaré en campagne que, dès le premier jour, il abrogerait le « décret sur l’IA woke » du président Biden afin de protéger la liberté d’expression. Quelles que soient vos opinions politiques, ce sont à mon avis des arguments et des positions très prévisibles. Ce que j’en retiens, c’est que la gouvernance de l’IA est un sujet politique aux États-Unis et qu’elle le restera, en particulier à l’approche de cette élection. Il y aura beaucoup à suivre au niveau fédéral. Mais surtout, soyez attentifs à ce qui se passe au niveau des États, car de nombreux élus prometteurs s’intéressent vraiment à ces questions.

‍

Des élections ont également lieu en Europe l’année prochaine. Quelles conséquences auront-elles sur le calendrier de l’EU AI Act, notamment sur son entrée en vigueur ?

‍

CD : J’espère qu’elles n’en auront aucune. Il existe un faible risque que ce soit le cas. Pour l’éviter, la rédaction technique du texte doit être achevée en mars au plus tard, afin de ne pas être affectée par les élections. Le travail démarrera donc à partir de mars. Pour l’instant, le temps semble largement suffisant. Je ne m’attends pas à des accrocs, sauf en cas de forte opposition. La France pourrait intervenir de manière destructrice pour tenter de bloquer le règlement. Si cela se produisait, on risquerait de ne pas parvenir à un accord d’ici mars. Concrètement, les travaux seraient alors reportés à 2025, ce qui serait pour le moins compliqué, car de nouveaux parlementaires auraient été élus. Ce ne seraient peut-être plus les mêmes personnes au Parlement, et de nouveaux interlocuteurs reprendraient le dossier avec d’autres priorités.

Si le processus va à son terme, l’entrée en application interviendra deux ans après la publication au Journal officiel de l’UE. Le texte sera probablement publié début 2024 : 2026 sera donc l’année où la plupart des applications d’IA devront être mises en conformité. Pour les modèles d’IA à usage général présentant un risque systémique, l’objectif est une entrée en application un an après la publication.

‍

Ainsi s’achève cette discussion très éclairante sur le développement responsable et la gouvernance des systèmes d’IA. Je tiens à remercier sincèrement nos intervenants, Connor, Martin, Chloe et Ryan, d’avoir partagé leur expertise et leurs points de vue. Un grand merci à tous les participants d’avoir été des nôtres. Je vous invite à poursuivre ce dialogue sur la page de l’événement et sur nos réseaux sociaux. 

‍

L’enregistrement complet du webinaire est disponible sur YouTube.

Enzai est la plateforme de référence en matière de gouvernance de l’IA d’entreprise, conçue spécifiquement pour aider les organisations à passer de politiques abstraites à une supervision opérationnelle. Notre plateforme de gestion des risques liés à l’IA fournit l’infrastructure spécialisée nécessaire pour assurer la gouvernance de l’IA agentique, tenir un inventaire IA complet et garantir la conformité à l’EU AI Act. En automatisant les flux de travail complexes, Enzai permet aux entreprises de déployer l’IA à grande échelle en toute confiance, tout en restant alignées sur des normes internationales telles que ISO 42001 et NIST.

Sur cette page

Conformité dès la conception

Conformité dès la conception

Conformité dès la conception

Certifié ISO 27001 depuis 2023, audité chaque année par NQA

Traitement des données aligné sur le RGPD

Données clients hébergées sur AWS dans plusieurs régions

Utilisez votre propre modèle d’IA via une connexion privée

Abonnez-vous à notre lettre d'information

En vous inscrivant, vous acceptez la politique de confidentialité d'Enzai

Abonnez-vous à notre lettre d'information

En vous inscrivant, vous acceptez la politique de confidentialité d'Enzai

Abonnez-vous à notre lettre d'information

En vous inscrivant, vous acceptez la politique de confidentialité d'Enzai

Abonnez-vous à notre lettre d'information

En vous inscrivant, vous acceptez la politique de confidentialité d'Enzai

Gouvernance de l'IA

Gouvernance de l'IA

infrastructure

infrastructure

conçue pour inspirer confiance.

conçue pour inspirer confiance.

Identifiez l’IA utilisée par vos équipes, examinez-la avant sa mise en service, évaluez-la au regard des règles applicables et contrôlez ce que les agents peuvent faire. Conçu pour les organisations réglementées.

Connectez vos systèmes, vos politiques et vos flux de travail d’IA existants au sein d’une seule plateforme.

Connectez vos systèmes, vos politiques et vos flux de travail d’IA existants au sein d’une seule plateforme.