Découvrez la gamme complète de produits de gouvernance de l'IA d'Enzai, conçus pour aider les organisations à gérer, surveiller et faire évoluer l'IA en toute confiance. Des processus d'intégration structurés et des inventaires centralisés d'IA aux évaluations automatisées et à la surveillance en temps réel, Enzai fournit les éléments nécessaires pour intégrer la gouvernance directement dans les flux de travail quotidiens de l'IA, sans freiner l'innovation.

Enzai

Réglementations sur l'IA

Gouvernance de l’IA agentique : le guide de référence pour les entreprises

Réglementations sur l'IA

Gouvernance de l’IA agentique : le guide de référence pour les entreprises

Réglementations sur l'IA

Gouvernance de l’IA agentique : le guide de référence pour les entreprises

Le cadre de gouvernance à 5 couches pour l’IA agentique d’entreprise — classification de l’autonomie, contrôles des actions, logique d’escalade et conformité alignée sur l’AI Act de l’Union européenne.

Belfast

Belfast

26 minutes de lecture

Sujets

Gouvernance de l’IA
IA agentique
Règlement européen sur l’IA
Gestion des risques

Sujets

En dix-huit mois, l’IA agentique est passée du prototype de recherche à la réalité d’entreprise. D’ici la fin de 2025, Gartner prévoyait que des capacités d’IA agentique seraient intégrées dans plus d’un tiers des applications logicielles d’entreprise d’ici 2028, contre moins de 1 % en 2024.[1] Salesforce a lancé Agentforce. Microsoft a intégré l’orchestration d’agents dans Copilot Studio. ServiceNow, SAP et des dizaines d’autres ont suivi. Pour les entreprises, la question n’est plus de savoir s’il faut déployer des agents d’IA, mais de savoir si une gouvernance de l’IA agentique est en place avant qu’un incident ne survienne.

Cette urgence est justifiée. Les systèmes d’IA agentique sont qualitativement différents de l’IA que la plupart des cadres de gouvernance ont été conçus pour encadrer. Un classificateur attribue des étiquettes. Un chatbot génère du texte. Un agent poursuit des objectifs : planification de flux de travail en plusieurs étapes, sélection d’outils, exécution d’actions, observation des résultats et itération — souvent à travers des dizaines de décisions avec une intervention humaine minimale. Cette autonomie opérationnelle est ce qui rend les agents précieux. C’est aussi ce qui les rend difficiles à gouverner. La gouvernance de l’IA agentique — l’ensemble des politiques, contrôles et mécanismes de supervision qui garantissent que les agents d’IA autonomes opèrent dans des limites de risque acceptables — constitue désormais un impératif pour les entreprises, et non une considération future.

Ce guide présente un cadre pratique de gouvernance de l’IA agentique pour les entreprises. Il explique ce que sont les systèmes d’IA agentique et pourquoi ils exigent une approche de gouvernance distincte ; comment les réglementations existantes s’appliquent ; quels contrôles de gouvernance fondamentaux les organisations devraient mettre en œuvre ; et comment opérationnaliser ces contrôles sans étouffer l’innovation que les agents sont censés permettre.

Ce qui rend l’IA agentique différente

Le terme « IA agentique » décrit des systèmes d’IA capables d’entreprendre des actions autonomes pour atteindre des objectifs, plutôt que de simplement générer des résultats destinés à la consommation humaine. Cette distinction est importante, car elle modifie fondamentalement le profil de risque.

Un système d’IA conventionnel fonctionne selon un paradigme requête-réponse. Un utilisateur fournit une entrée ; le système génère une sortie ; l’utilisateur décide quoi en faire. L’humain reste dans la boucle à chaque étape conséquente. Un système agentique rompt ce schéma. Il reçoit un objectif de haut niveau, le décompose en sous-tâches, sélectionne et invoque des outils pour accomplir chaque étape, évalue les résultats intermédiaires et ajuste son approche — le tout avec des degrés variables de supervision humaine, allant d’une validation complète à chaque étape jusqu’à une exécution entièrement autonome.

Trois caractéristiques distinguent l’IA agentique des systèmes conventionnels et créent des défis de gouvernance spécifiques.

Prise d’action autonome

Les agents ne se contentent pas de recommander ; ils agissent. Ils envoient des e-mails, exécutent du code, modifient des bases de données, appellent des API, créent des fichiers et interagissent avec des services externes. Chaque action modifie l’état du monde de manière parfois difficile, voire impossible, à inverser. Une image mal classée peut être corrigée. Un e-mail envoyé au mauvais destinataire, un enregistrement de base de données écrasé ou une transaction financière exécutée par erreur ne peuvent pas simplement être annulés.

Chaînes de raisonnement en plusieurs étapes

Les agents opèrent sur des chaînes de raisonnement étendues où chaque étape s’appuie sur la précédente. Une seule instruction de haut niveau — « trouver le meilleur candidat pour ce poste à pourvoir » — peut déclencher des dizaines de décisions intermédiaires concernant les bases de données à interroger, les critères à pondérer, les candidats à présélectionner et la manière de communiquer avec eux. Les cadres de gouvernance conçus pour des systèmes à décision unique peinent face à cette complexité cumulative.

Invocation dynamique d’outils

Les architectures d’agents modernes permettent aux agents de découvrir et d’invoquer des outils à l’exécution — API, bases de données, services web, interpréteurs de code — qui n’avaient peut-être pas été anticipés lors de la conception ou de l’évaluation du système. Cela crée une cible mouvante pour l’évaluation des risques et la conformité. Les capacités du système le lundi peuvent différer matériellement de ses capacités le vendredi.

Ces trois caractéristiques interagissent. Un agent doté de prise d’action autonome, opérant sur des chaînes multi-étapes et invoquant dynamiquement des outils découverts à l’exécution, présente un défi de gouvernance qui n’est pas simplement plus difficile que la gouvernance d’un système d’IA conventionnel — il est structurellement différent.

Comment les réglementations existantes s’appliquent

Une idée reçue fréquente soutient que la réglementation actuelle de l’IA ne couvre pas les systèmes agentiques — qu’un nouveau cadre législatif serait nécessaire avant que des obligations de gouvernance ne s’appliquent. C’est inexact, et les organisations qui attendent une réglementation « spécifique à l’agentique » risquent de se retrouver non conformes au regard de lois déjà en vigueur.

L’AI Act de l’UE

La définition d’un système d’IA dans l’Article 3(1) de l’AI Act de l’UE décrit « un système automatisé fondé sur une machine, conçu pour fonctionner avec des niveaux variables d’autonomie et pouvant présenter une capacité d’adaptation après son déploiement et qui, pour des objectifs explicites ou implicites, déduit, à partir des entrées qu’il reçoit, la manière de générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions pouvant influencer des environnements physiques ou virtuels ».[2]

Chaque élément de cette définition englobe l’IA agentique sans difficulté. Les « niveaux variables d’autonomie » envisagent explicitement un spectre allant d’une opération dirigée par l’humain à une opération pleinement autonome. Les « objectifs implicites » — bien que rédigés principalement pour couvrir les systèmes où l’objectif est implicite du fait de la conception ou de l’entraînement plutôt qu’énoncé comme prompt — sont suffisamment larges pour inclure les sous-objectifs émergents poursuivis par les agents lors de la décomposition d’instructions de haut niveau, même si cette position interprétative n’a pas encore été testée en application ni clarifiée par des orientations formelles de l’AI Office.[3] Les « décisions » couvrent la sélection d’actions effectuée par les agents à chaque étape. Et « influencer des environnements physiques ou virtuels » va au-delà de la simple génération de sorties passives pour inclure les actions de transformation de l’environnement qui définissent le comportement agentique.

Le calendrier d’application de l’Acte est progressif. Les interdictions relatives aux systèmes d’IA à risque inacceptable sont entrées en vigueur le 2 février 2025. Les obligations relatives aux modèles d’IA à usage général (GPAI) s’appliquent à partir du 2 août 2025. L’ensemble complet des obligations applicables aux systèmes à haut risque au titre de l’Annexe III s’applique à partir du 2 août 2026.[4] Les organisations qui déploient des systèmes agentiques dans des cas d’usage à haut risque disposent d’une fenêtre de préparation de plus en plus réduite.

Lorsqu’un système agentique relève d’un cas d’usage à haut risque listé à l’Annexe III — décisions d’emploi, scoring de crédit, maintien de l’ordre, gestion d’infrastructures critiques — l’ensemble des obligations applicables aux systèmes à haut risque s’applique. Cela inclut les systèmes de gestion des risques (Article 9), la gouvernance des données (Article 10), la documentation technique (Article 11), la tenue des enregistrements et la journalisation automatique (Article 12), la transparence (Article 13), la supervision humaine (Article 14), ainsi que les exigences de précision, robustesse et cybersécurité (Article 15).[5] L’Article 12 mérite une attention particulière : pour des systèmes dont les décisions se déploient sur des chaînes de raisonnement multi-étapes avec invocations dynamiques d’outils, les exigences de journalisation constituent à la fois l’obligation la plus exigeante sur le plan technique et la plus importante sur le plan opérationnel à maîtriser.

Le cadre opérationnel de l’Acte est effectivement mis à l’épreuve par les cas d’usage agentiques — notamment en matière d’évaluation de conformité des systèmes dynamiques, de répartition des responsabilités fournisseur-déployeur lorsque les agents invoquent des outils tiers, et de ce que signifie une supervision humaine « proportionnée » pour des systèmes prenant des dizaines de microdécisions par seconde.[6] Mais le périmètre réglementaire est clair. Les systèmes d’IA agentique sont des systèmes d’IA au sens de l’Acte, et les obligations s’appliquent.

Obligations relatives aux modèles GPAI

De nombreux agents d’entreprise reposent sur des modèles d’IA à usage général fournis par des tiers — Anthropic, OpenAI, Google, Meta et d’autres. L’AI Act de l’UE impose des obligations spécifiques aux fournisseurs de modèles GPAI au titre des Articles 51 à 56, notamment en matière de documentation technique, de transparence de la politique de droit d’auteur et, pour les modèles désignés comme présentant un risque systémique, de tests adversariaux et de signalement des incidents.[7] Le Code de bonnes pratiques GPAI, finalisé fin 2025, fournit une voie de conformité pour ces obligations.

Pour les déployeurs d’entreprise, l’interaction entre les obligations des fournisseurs de GPAI et celles des déployeurs crée un paysage de conformité à plusieurs couches. Le fournisseur du modèle de base assume certaines responsabilités ; l’organisation déployeuse en assume d’autres. Lorsqu’un cadre agent assemble un modèle GPAI, une couche d’orchestration et des outils tiers au sein d’un système composite, la répartition des obligations sur l’ensemble de la chaîne de valeur devient un défi de gouvernance à part entière — que la section multi-acteurs ci-dessous traite directement.

ISO/IEC 42001

La norme internationale relative aux systèmes de management de l’IA, publiée en décembre 2023, fournit un cadre pour établir, mettre en œuvre et améliorer en continu un système de management de l’IA.[8] Bien qu’elle ne traite pas spécifiquement de l’IA agentique, ses contrôles relatifs à l’évaluation des risques, à la supervision humaine et à la surveillance continue sont directement applicables. Les organisations visant la certification ISO 42001 devraient s’assurer que leur système de management de l’IA couvre explicitement les déploiements d’agents autonomes, et pas uniquement les applications d’IA conventionnelles.

Cadre de gestion des risques IA du NIST

Les quatre fonctions principales du NIST AI RMF — Govern, Map, Measure, Manage — offrent une approche structurée de la gestion des risques IA qui s’étend naturellement aux systèmes agentiques.[9] L’accent mis par le cadre sur l’évaluation contextuelle des risques et la surveillance continue est particulièrement pertinent compte tenu de la nature dynamique du comportement des agents. Le document complémentaire sur les risques de l’IA générative (NIST AI 600-1) traite de plusieurs risques pertinents pour les agents utilisant des outils, notamment l’injection de prompt et l’exposition involontaire de données.[10] L’OCDE, dont la définition du système d’IA a influencé l’Article 3(1), développe également activement des cadres de classification incluant le niveau d’autonomie comme dimension — des travaux qui façonneront probablement l’évolution internationale de la gouvernance de l’IA agentique.[11]

Exigences émergentes au niveau des États et des secteurs

Le Colorado AI Act, applicable en février 2026 sous réserve d’amendements législatifs en cours, impose aux développeurs et déployeurs de systèmes d’IA à haut risque d’exercer une diligence raisonnable afin d’éviter la discrimination algorithmique dans les décisions conséquentes.[12] Les systèmes agentiques qui prennent ou influencent substantiellement des décisions en matière d’emploi, de finance, d’assurance ou de logement relèvent clairement du champ d’application. Dans les services financiers, les orientations interagences sur la gestion du risque de modèle (SR 11-7 de la Réserve fédérale et OCC 2011-12) s’appliquent aux agents d’IA utilisés pour l’évaluation des risques et la prise de décision, bien qu’elles aient été conçues pour des modèles statistiques traditionnels et nécessitent une interprétation prudente pour les agents fondés sur des modèles de base opérant avec un accès autonome aux outils.[13]

Le cadre de gouvernance de l’IA agentique

La gouvernance de l’IA agentique requiert des contrôles qui traitent les caractéristiques spécifiques décrites ci-dessus : prise d’action autonome, raisonnement en plusieurs étapes et invocation dynamique d’outils. Le cadre présenté ici, fondé sur les travaux d’Enzai avec des équipes de gouvernance d’entreprise, organise ces contrôles en cinq couches : classification de l’autonomie, liste blanche d’actions, logique d’escalade, traçabilité et surveillance continue. Chaque couche s’appuie sur la précédente.

Couche 1 : Classification de l’autonomie

Tous les agents ne nécessitent pas le même niveau de gouvernance. Un agent qui rédige des réponses e-mail pour revue humaine présente un profil de risque fondamentalement différent de celui d’un agent qui exécute de manière autonome des transactions financières. La première étape de tout programme de gouvernance de l’IA agentique consiste à classifier le niveau d’autonomie de chaque agent et à associer cette classification à des contrôles proportionnés.


Niveau

Libellé

Description

Exigence de gouvernance

1

Assistance

L’agent génère des recommandations ou des brouillons ; l’humain examine et approuve chaque action avant exécution

Contrôles standards de qualité IA

2

Supervisé

L’agent exécute des actions dans des paramètres définis ; l’humain surveille et conserve la capacité d’intervenir

Protocoles de surveillance clairs et mécanismes d’intervention

3

Autonome borné

L’agent opère de manière autonome dans un espace d’action contraint et des garde-fous prédéfinis

Liste blanche d’actions rigoureuse, logique d’escalade, surveillance continue

4

Entièrement autonome

L’agent opère avec une large latitude sur des tâches ouvertes

Contrôles les plus stricts : surveillance en temps réel, pistes d’audit complètes, revue humaine régulière des résultats

La classification doit être spécifique au cas d’usage, et non au modèle. Le même modèle de base peut alimenter un assistant de niveau 1 dans un déploiement et un agent autonome de niveau 3 dans un autre. Les obligations de gouvernance s’attachent au déploiement, pas au modèle.

Couche 2 : Liste blanche d’actions et espaces d’action bornés

Le contrôle le plus efficace pour l’IA agentique consiste à contraindre ce qu’elle peut faire. Plutôt que d’essayer de prévoir et prévenir tous les modes de défaillance possibles, la liste blanche d’actions définit l’ensemble des actions autorisées qu’un agent peut entreprendre — les outils qu’il peut invoquer, les API qu’il peut appeler, les données auxquelles il peut accéder, les systèmes qu’il peut modifier.

Il s’agit d’une approche de type allow-list, et non deny-list. La posture par défaut est que toute action non explicitement autorisée est interdite. Cela inverse le modèle de sécurité typique des systèmes logiciels (où tout ce qui n’est pas explicitement interdit est autorisé) et reflète la réalité selon laquelle les systèmes d’IA agentique peuvent découvrir et tenter des actions que leurs concepteurs n’avaient jamais envisagées.

La mise en œuvre pratique consiste à définir des frontières d’action à trois niveaux :

  • Accès aux outils : Quelles API, bases de données, services et environnements d’exécution de code l’agent peut invoquer

  • Contraintes de paramètres : Quelles entrées l’agent peut transmettre à chaque outil (par exemple, restreindre un agent d’interrogation de base de données à des opérations en lecture seule sur des tables spécifiques)

  • Limites d’impact : Seuils sur l’ampleur de toute action individuelle (par exemple, plafonner la valeur monétaire des transactions qu’un agent peut autoriser sans approbation humaine)

Un point opérationnel critique : les listes blanches d’actions doivent être maintenues à mesure que le paysage des outils évolue. Lorsqu’un fournisseur de modèle de base déploie une mise à jour qui modifie le comportement du modèle, ou lorsque de nouveaux outils sont ajoutés à l’espace d’action potentiel d’un agent, la liste blanche doit être revue et revalidée. Traiter les listes blanches comme une configuration statique plutôt que comme des artefacts de gouvernance vivants est un mode d’échec courant.

Couche 3 : Logique d’escalade

Même au sein d’espaces d’action bornés, les agents rencontreront des situations qui dépassent leur compétence ou leur autorité. Une gouvernance efficace exige des trajectoires d’escalade prédéfinies — des règles claires indiquant quand un agent doit rendre le contrôle à un humain plutôt que de poursuivre de manière autonome.

Les déclencheurs d’escalade devraient inclure :

  • Seuils de confiance : Lorsque la confiance de l’agent dans l’action choisie descend sous un niveau défini

  • Seuils d’impact : Lorsqu’une action proposée dépasse les limites d’impact prédéfinies (valeur financière, nombre d’enregistrements affectés, irréversibilité)

  • Détection d’anomalies : Lorsque le comportement de l’agent s’écarte des schémas attendus

  • Frontières de domaine : Lorsque l’agent rencontre une tâche ou un domaine en dehors de son périmètre défini

  • Conditions d’échec : Lorsqu’une invocation d’outil échoue ou renvoie des résultats inattendus

La conception des mécanismes d’escalade est aussi importante que les déclencheurs eux-mêmes. L’escalade doit être sans friction pour l’agent (il ne doit pas être « incité » à éviter l’escalade par des modèles de conception qui le pénalisent s’il le fait) et exploitable pour l’humain (l’escalade doit inclure un contexte suffisant pour permettre une décision éclairée sans reconstruire l’intégralité de la chaîne de raisonnement de l’agent).

Couche 4 : Traçabilité et pistes d’audit

Les exigences réglementaires de l’AI Act de l’UE (Article 12 pour les systèmes à haut risque) et la réponse opérationnelle aux incidents exigent toutes deux une journalisation complète de l’activité des agents.[14] Pour les systèmes agentiques, cela signifie capturer non seulement les entrées et les sorties, mais la chaîne complète de raisonnement, les invocations d’outils, les résultats intermédiaires et les décisions à chaque étape.

Une piste d’audit efficace pour l’IA agentique devrait enregistrer :

  • L’objectif initial ou l’instruction fournie à l’agent

  • Chaque étape de raisonnement et la justification de la sélection d’action

  • Chaque invocation d’outil, y compris l’outil appelé, les paramètres transmis et la réponse reçue

  • Les actions entreprises et leurs résultats

  • Les événements d’escalade et les interventions humaines

  • Les changements d’état de l’environnement résultant des actions de l’agent

  • Les horodatages et identifiants de session reliant les événements associés

Ces journaux servent plusieurs objectifs : enquête post-incident, conformité réglementaire, amélioration continue des contrôles de gouvernance et attribution des responsabilités lorsque des incidents surviennent. Ils doivent être immuables, horodatés et stockés indépendamment du système agent lui-même afin de prévenir toute altération.

Couche 5 : Surveillance continue

Une évaluation ponctuelle — évaluer un agent avant déploiement puis supposer qu’il reste conforme — est insuffisante pour des systèmes dont les capacités et le comportement peuvent évoluer dynamiquement. La gouvernance de l’IA agentique exige une surveillance continue sur plusieurs dimensions :

  • Surveillance de la performance : Les résultats de l’agent respectent-ils les seuils de qualité et de précision ?

  • Surveillance comportementale : Le comportement de l’agent reste-t-il dans les schémas attendus ? Les distributions d’actions évoluent-elles au fil du temps ?

  • Surveillance de conformité : Les actions de l’agent restent-elles dans son espace d’action autorisé ? Les protocoles d’escalade sont-ils suivis ?

  • Surveillance de l’équité : Pour les agents qui prennent ou influencent des décisions concernant des individus, les résultats sont-ils équitables entre caractéristiques protégées ?

  • Surveillance de sécurité : L’agent est-il exposé à des entrées adversariales, à des tentatives d’injection de prompt ou à d’autres manipulations ?

La surveillance doit rétroalimenter les contrôles de gouvernance. Lorsqu’elle détecte une anomalie — une action hors de l’ensemble autorisé, un glissement des distributions de résultats, un schéma suggérant une manipulation adversariale — la réponse devrait être automatisée lorsque possible (mise en pause de l’agent, déclenchement d’une escalade) et documentée pour revue humaine.

Qui est responsable lorsqu’un agent agit ?

L’un des aspects les plus difficiles de la gouvernance de l’IA agentique est que la responsabilité est fragmentée entre plusieurs acteurs. Un déploiement type d’agent en entreprise implique au moins quatre parties : le fournisseur du modèle de base (OpenAI, Anthropic, Google, Meta ou autres) ; le cadre agent ou la couche d’orchestration (plateforme tierce ou développement interne) ; l’organisation déployeuse ; et les fournisseurs des outils et API que l’agent invoque à l’exécution.

L’AI Act de l’UE répartit les obligations entre fournisseurs et déployeurs, certaines dispositions visant aussi les importateurs et distributeurs.[15] Mais cette logique binaire ne se superpose pas proprement à la chaîne de valeur agentique. Qui est le « fournisseur » d’un agent qui combine un modèle de base tiers avec une couche d’orchestration interne appelant des API externes ? L’Article 25 traite des situations où des tiers modifient ou réaffectent des systèmes d’IA, pouvant ainsi devenir eux-mêmes fournisseurs, mais les frontières restent floues pour les systèmes composés dynamiquement.[16]

Cette fragmentation crée également un risque de chaîne d’approvisionnement des modèles de base que beaucoup d’organisations sous-estiment. Lorsqu’un fournisseur de modèle déploie une mise à jour — nouvelle version du modèle, filtres de sécurité modifiés, comportements altérés — les contrôles de gouvernance validés sur la version précédente peuvent ne plus être valides. Les listes blanches d’actions, seuils d’escalade et évaluations de conformité supposent tous une base de comportement du modèle donnée. Une mise à jour silencieuse du modèle peut invalider ces hypothèses sans aucun changement du côté du déployeur.

Une gouvernance pratique doit tenir compte de cette fragmentation. Les organisations qui déploient de l’IA agentique devraient :

  • Cartographier l’intégralité de la chaîne de valeur pour chaque déploiement d’agent, en identifiant chaque acteur et ses responsabilités de gouvernance

  • Établir des dispositions contractuelles avec les fournisseurs d’outils et d’API traitant la gestion des données, la responsabilité et la réponse aux incidents

  • Maintenir une structure interne claire de redevabilité — qui possède chaque déploiement d’agent, qui est responsable de la surveillance, et qui a autorité pour intervenir ou arrêter

  • Mettre en œuvre des processus de verrouillage de version et de gestion du changement pour les modèles de base, avec déclencheurs de revalidation lorsque les fournisseurs publient des mises à jour

  • Documenter la répartition des responsabilités de manière à satisfaire un audit réglementaire

Réponse aux incidents pour l’IA agentique

La gouvernance ne consiste pas uniquement à prévenir les défaillances ; elle consiste aussi à réagir efficacement lorsqu’elles surviennent. Les systèmes d’IA agentique nécessitent des procédures de réponse aux incidents qui tiennent compte de leur nature autonome et multi-étapes.

Un plan de réponse aux incidents pour l’IA agentique devrait inclure :

  • Interrupteurs d’arrêt d’urgence : La capacité d’interrompre immédiatement l’exécution d’un agent, de révoquer son accès aux outils et d’empêcher toute action supplémentaire. Cela doit être techniquement fiable (sans dépendre de la coopération de l’agent) et accessible en quelques secondes au personnel désigné

  • Procédures de retour arrière : Lorsque cela est possible, des procédures prédéfinies pour annuler les actions réalisées par un agent. Toutes les actions ne sont pas réversibles, ce qui rend la piste d’audit et les limites d’impact décrites ci-dessus essentielles pour limiter le rayon d’impact

  • Obligations de notification : Dans les secteurs réglementés, certaines défaillances d’agents peuvent déclencher des obligations de déclaration. Dans les services financiers, des transactions non autorisées peuvent exiger une notification au régulateur dans les heures qui suivent. En vertu de l’AI Act de l’UE, les incidents graves impliquant des systèmes d’IA à haut risque doivent être signalés aux autorités de surveillance du marché

  • Analyse des causes racines : L’enquête post-incident doit retracer la chaîne complète de raisonnement, de l’objectif initial à chaque invocation d’outil et décision jusqu’au point de défaillance, en s’appuyant sur la piste d’audit capturée par la Couche 4

La planification de la réponse aux incidents doit être effectuée avant le déploiement, et non après le premier incident. Des exercices de simulation qui reproduisent des défaillances d’agents — frontière d’action franchie, escalade manquée, réponse d’outil compromise — aident les équipes à développer les réflexes nécessaires pour réagir efficacement sous pression.

Opérationnaliser la gouvernance de l’IA agentique

Les cadres de gouvernance n’ont de valeur que s’ils peuvent être opérationnalisés — mis en œuvre en pratique sans créer une friction telle qu’elle empêche l’innovation que les agents sont censés permettre. Plusieurs principes aident à combler l’écart entre cadre et pratique.

Intégrer la gouvernance au cycle de vie des agents

La gouvernance ne doit pas être un chantier séparé mené en parallèle du développement et du déploiement des agents. Elle doit être intégrée à la chaîne de développement — classification de l’autonomie au stade de la conception, liste blanche d’actions pendant le développement, tests de logique d’escalade avant déploiement, surveillance continue en production. Cela est analogue au mouvement shift-left en sécurité : une gouvernance intégrée dès le départ, et non ajoutée a posteriori.

Automatiser les contrôles de gouvernance

Les processus manuels de gouvernance ne peuvent pas suivre le rythme d’agents opérant à vitesse machine. Les listes blanches d’actions doivent être appliquées de manière programmatique, et non via de simples documents de politique. Les déclencheurs d’escalade doivent s’activer automatiquement, et non dépendre d’une surveillance humaine des journaux. Les vérifications de conformité doivent s’exécuter comme des garde-fous automatisés dans les pipelines CI/CD, en fournissant aux équipes d’ingénierie des signaux clairs de réussite/échec plutôt que des formulaires de conformité à remplir.

Intégrer la gouvernance à l’inventaire IA

Chaque système d’IA agentique doit être enregistré dans un inventaire IA centralisé qui capture sa classification d’autonomie, son espace d’action autorisé, ses protocoles d’escalade, sa configuration de surveillance, son attribution de responsabilité et la version du modèle de base. Cet inventaire est le socle du programme de gouvernance — sans lui, une organisation ne peut répondre à des questions élémentaires sur les agents qu’elle a déployés, ce qu’ils sont autorisés à faire et qui en est responsable.

Séquencer la mise en œuvre de manière pragmatique

Les organisations qui déploient des dizaines d’agents ne peuvent pas mettre en œuvre simultanément les cinq couches de gouvernance sur chaque déploiement. Une approche de séquençage pratique :

  1. Commencer par l’inventaire. On ne peut pas gouverner ce que l’on ne voit pas. Recensez chaque déploiement d’agent, y compris les déploiements « shadow » que des équipes ont pu lancer de façon informelle.

  2. Classer les niveaux d’autonomie. Associez chaque agent à un niveau. Cela détermine la proportionnalité de chaque contrôle ultérieur.

  3. Mettre en œuvre en priorité des listes blanches d’actions pour les agents de niveau 3 et 4. Ce sont eux qui portent le risque le plus élevé et tirent le plus de bénéfices d’espaces d’action bornés.

  4. Construire les pistes d’audit dès le premier jour. La journalisation est le contrôle le moins coûteux à mettre en place tôt et le plus coûteux à moderniser a posteriori.

  5. Ajouter progressivement la surveillance continue à mesure que les déploiements mûrissent. Commencez par la surveillance de conformité (l’agent reste-t-il dans sa liste blanche ?) puis élargissez dans le temps à la surveillance comportementale et d’équité.

Considérer la gouvernance comme un avantage concurrentiel

Les organisations qui perçoivent la gouvernance uniquement comme un coût de conformité y sous-investiront et créeront du ressentiment au sein des équipes d’ingénierie. Le meilleur cadre est de considérer la gouvernance comme une condition de passage à l’échelle. Sans contrôles systématiques, les déploiements d’agents seront limités à des cas d’usage à faible risque et faible valeur, car l’organisation ne pourra pas démontrer une supervision adéquate pour des usages plus ambitieux. La gouvernance est ce qui permet à une entreprise de passer de programmes pilotes prudents à des déploiements en production avec un impact business réel.

Ce qui arrive ensuite dans la réglementation de l’IA agentique

Le paysage de la gouvernance de l’IA agentique évoluera rapidement au cours des deux prochaines années. Le CEN et le CENELEC développent des normes harmonisées dans le cadre de l’AI Act de l’UE via le Comité technique conjoint 21, dont le mandat a été modifié en juin 2025 pour refléter l’accélération du programme de normalisation.[17] Ces normes devront préciser ce que signifie une supervision humaine proportionnée pour des systèmes hautement autonomes — espaces d’action bornés, points de contrôle structurés, pistes d’audit et mécanismes d’intervention — sans exiger une présence humaine dans la boucle à chaque instant.

La Commission européenne dispose du pouvoir d’actualiser la liste des cas d’usage à haut risque de l’Annexe III par actes délégués à mesure que des risques spécifiques à l’agentique émergent, sans nécessiter de modification législative complète.[18] Les orientations de la Commission peuvent également clarifier comment le cadre fournisseur-déployeur s’applique aux chaînes de valeur agentiques et à partir de quand l’invocation d’outils à l’exécution constitue une « modification substantielle » au sens de l’Article 3(23). Les codes de bonnes pratiques de l’Article 56 offrent un autre levier, en traitant les risques spécifiques aux agents au niveau des modèles GPAI — fonctionnalités de contrôlabilité, journalisation de l’usage des outils et contraintes sur l’espace d’action.[19]

Des groupes sectoriels, dont l’IAPP et l’OCDE, travaillent activement sur des lignes directrices de gouvernance pour l’IA autonome.[20] L’ISO/IEC JTC 1/SC 42 continue d’élargir la série 42000 de normes IA, et il ne serait pas surprenant de voir émerger des travaux spécifiquement agentiques à mesure que le paysage de déploiement mûrit.

Les organisations qui attendent ces normes et orientations avant d’agir se retrouveront à rétrofiter la gouvernance dans des déploiements d’agents qui n’ont jamais été conçus pour cela — un exercice coûteux et perturbateur. L’approche la plus prudente consiste à construire dès maintenant l’infrastructure de gouvernance et à l’adapter au fur et à mesure que les exigences réglementaires et normatives se cristallisent.

Le défi de la gouvernance de l’IA agentique est réel, mais il n’est pas inédit. Les entreprises ont déjà gouverné d’autres systèmes complexes, autonomes et à haut risque — du trading algorithmique aux véhicules autonomes en passant par l’automatisation robotisée des processus. Les principes sont les mêmes : classifier le risque, contraindre l’action, exiger l’escalade, maintenir la traçabilité et surveiller en continu. Ce qui est nouveau, c’est la vitesse à laquelle l’IA agentique est déployée et l’étendue des fonctions d’entreprise qu’elle touche.

La mise en œuvre de ces cinq couches de gouvernance sur des dizaines de déploiements d’agents, chacun avec des niveaux d’autonomie, des configurations d’accès aux outils et des obligations réglementaires différents, est autant un problème d’infrastructure qu’un problème de politique. Chez Enzai, construire cette infrastructure — de la classification de l’autonomie et de la liste blanche d’actions jusqu’à la surveillance continue et à la conformité réglementaire au regard de l’AI Act de l’UE, de l’ISO 42001 et du NIST AI RMF — est le défi que notre plateforme est conçue pour relever. Pour en savoir plus, réservez une démonstration.

Références

[1] Gartner, « Agentic AI: The Next Frontier of Enterprise AI », octobre 2024. Gartner prévoyait que les capacités d’IA agentique figureraient dans 33 % des applications logicielles d’entreprise d’ici 2028.

[2] Règlement (UE) 2024/1689 du Parlement européen et du Conseil, Article 3(1). Journal officiel de l’Union européenne, série L, 12 juillet 2024.

[3] Les orientations interprétatives de la Commission européenne sur la définition du système d’IA (publiées en 2025) apportent un contexte supplémentaire mais n’ont pas spécifiquement traité la décomposition émergente en sous-objectifs dans les systèmes agentiques.

[4] Règlement (UE) 2024/1689, Articles 113-114 (entrée en vigueur et dates d’application).

[5] Règlement (UE) 2024/1689, Chapitre III, Section 2, Articles 9-15.

[6] Pour une analyse détaillée de ces tensions opérationnelles, voir Enzai, « The EU AI Act Bends. It Need Not Break », mars 2026.

[7] Règlement (UE) 2024/1689, Chapitre V, Articles 51-56 (Obligations des fournisseurs de modèles GPAI).

[8] ISO/IEC 42001:2023, Technologies de l’information — Intelligence artificielle — Système de management. Organisation internationale de normalisation, décembre 2023.

[9] NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, janvier 2023.

[10] NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1, juillet 2024.

[11] OCDE, « OECD Framework for the Classification of AI Systems », OECD Digital Economy Papers No. 323, février 2022. Les Principes de l’OCDE sur l’IA ont été mis à jour en mai 2024.

[12] Colorado SB 24-205, Concerning Consumer Protections for Artificial Intelligence, promulguée en mai 2024. Date d’entrée en vigueur initiale : 1er février 2026 ; sous réserve d’amendements législatifs en cours.

[13] Board of Governors of the Federal Reserve System, SR Letter 11-7, « Supervisory Guidance on Model Risk Management », avril 2011 ; Office of the Comptroller of the Currency, OCC 2011-12.

[14] Règlement (UE) 2024/1689, Article 12 (tenue des enregistrements / journalisation automatique pour les systèmes d’IA à haut risque).

[15] Règlement (UE) 2024/1689, Articles 16 (obligations des fournisseurs) et 26 (obligations des déployeurs).

[16] Règlement (UE) 2024/1689, Article 25 (Obligations des autres parties le long de la chaîne de valeur de l’IA).

[17] Demande de normalisation M/593 de la Commission européenne au CEN et au CENELEC, telle que modifiée en juin 2025 ; programme de travail CEN-CENELEC JTC 21.

[18] Règlement (UE) 2024/1689, Article 7 (Modifications de l’Annexe III).

[19] Règlement (UE) 2024/1689, Article 56 (Codes de bonnes pratiques pour les modèles GPAI).

[20] IAPP AI Governance Center ; OECD AI Policy Observatory, oecd.ai ; programme de travail ISO/IEC JTC 1/SC 42.

Découvrez davantage

Découvrez davantage

Rejoignez notre bulletin d'information

En vous inscrivant, vous acceptez la Politique de Confidentialité d'Enzai

Rejoignez notre bulletin d'information

En vous inscrivant, vous acceptez la Politique de Confidentialité d'Enzai

Rejoignez notre bulletin d'information

En vous inscrivant, vous acceptez la Politique de Confidentialité d'Enzai

Rejoignez notre bulletin d'information

En vous inscrivant, vous acceptez la Politique de Confidentialité d'Enzai

Conformité Intégrée Dès la Conception

Conformité Intégrée Dès la Conception

ISO 27001

Enzai est certifiée ISO 27001, et lest depuis 2023. Nous nous engageons à réaliser des audits annuels effectués par NQA et collaborons étroitement avec nos partenaires consultants en sécurité, Instil, afin de mettre à jour et de renforcer en continu notre posture de sécurité.

RGPD

ISO 27001

Enzai est certifiée ISO 27001, et lest depuis 2023. Nous nous engageons à réaliser des audits annuels effectués par NQA et collaborons étroitement avec nos partenaires consultants en sécurité, Instil, afin de mettre à jour et de renforcer en continu notre posture de sécurité.

RGPD

Gouvernance de l'IA

Gouvernance de l'IA

Infrastructure

Infrastructure

conçu pour la Confiance.

conçu pour la Confiance.

Donnez à votre organisation les moyens d'adopter, de gérer et de surveiller l'IA avec une confiance de niveau entreprise. Conçu pour les organisations réglementées opérant à grande échelle.

Connectez sans effort vos systèmes existants, vos politiques et vos flux de travail d'IA — le tout sur une plateforme unifiée.

Connectez sans effort vos systèmes existants, vos politiques et vos flux de travail d'IA — le tout sur une plateforme unifiée.