Blog
•
28 min de lecture
En dix-huit mois, l'IA agentique est passée du statut de prototype de recherche à celui de réalité pour les entreprises. D'ici la fin de l'année 2025, Gartner prévoyait que les capacités de l'IA agentique seraient intégrées dans plus d'un tiers des applications logicielles d'entreprise d'ici 2028, contre moins de 1 % en 2024.[1] Salesforce a lancé Agentforce. Microsoft a intégré l'orchestration d'agents dans Copilot Studio. ServiceNow, SAP et des dizaines d'autres ont suivi. Pour les entreprises, la question n'est plus de savoir s'il faut déployer des agents d'IA, mais si elles ont mis en place une gouvernance de l'IA agentique avant que quelque chose ne tourne mal.
L'urgence est justifiée. Les systèmes d'IA agentique sont qualitativement différents de l'IA que la plupart des cadres de gouvernance ont été conçus pour encadrer. Un classificateur attribue des étiquettes. Un chatbot génère du texte. Un agent poursuit des objectifs : planifier des flux de travail multi-étapes, sélectionner des outils, exécuter des actions, observer les résultats et itérer, souvent à travers des dizaines de décisions avec une intervention humaine minimale. Cette autonomie opérationnelle est ce qui fait la valeur des agents. C'est aussi ce qui les rend difficiles à gouverner. La gouvernance de l'IA agentique, c'est-à-dire l'ensemble des politiques, des contrôles et des mécanismes de surveillance qui garantissent que les agents d'IA autonomes opèrent dans des limites de risque acceptables, est désormais un impératif pour l'entreprise, et non une considération future.
Ce guide présente un cadre pratique pour la gouvernance de l'IA agentique en entreprise. Il aborde la nature des systèmes d'IA agentique et les raisons pour lesquelles ils exigent un traitement de gouvernance distinct ; la manière dont les réglementations existantes s'appliquent ; les contrôles de gouvernance fondamentaux que les organisations devraient mettre en œuvre ; et la manière d'opérationnaliser ces contrôles sans étouffer l'innovation que les agents sont censés permettre.
Ce qui différencie l'IA agentique
Le terme « IA agentique » décrit des systèmes d'IA capables de mener des actions autonomes dans le but d'atteindre des objectifs, plutôt que de simplement générer des résultats destinés à être consommés par l'homme. Cette distinction est cruciale car elle modifie fondamentalement le profil de risque.
Un système d'IA conventionnel fonctionne selon un paradigme de requête-réponse. Un utilisateur fournit une entrée ; le système génère une sortie ; l'utilisateur décide de ce qu'il convient d'en faire. L'humain reste dans la boucle à chaque étape importante. Un système agentique brise ce schéma. Il reçoit un objectif de haut niveau, le décompose en sous-tâches, sélectionne et invoque des outils pour accomplir chaque étape, évalue les résultats intermédiaires et ajuste son approche, le tout avec différents degrés de surveillance humaine, allant d'une approbation complète à chaque étape à une exécution entièrement autonome.
Trois caractéristiques distinguent l'IA agentique des systèmes conventionnels et créent des défis de gouvernance particuliers.
La prise d'action autonome
Les agents ne se contentent pas de recommander ; ils agissent. Ils envoient des e-mails, exécutent du code, modifient des bases de données, appellent des API, créent des fichiers et interagissent avec des services externes. Chaque action modifie l'état du monde d'une manière qui peut être difficile ou impossible à inverser. Une image mal classée peut être corrigée. Un e-mail envoyé au mauvais destinataire, un enregistrement de base de données écrasé ou une transaction financière exécutée par erreur ne peuvent pas simplement être annulés.
Les chaînes de raisonnement multi-étapes
Les agents opèrent à travers des chaînes de raisonnement étendues où chaque étape s'appuie sur la précédente. Une simple instruction de haut niveau, comme « trouver le meilleur candidat pour ce poste ouvert », peut déclencher des dizaines de décisions intermédiaires concernant les bases de données à interroger, les critères à pondérer, les candidats à présélectionner et la manière de communiquer avec eux. Les cadres de gouvernance conçus pour des systèmes à décision unique peinent à gérer cette complexité cumulative.
L'invocation dynamique d'outils
Les architectures d'agents modernes permettent aux agents de découvrir et d'invoquer des outils lors de l'exécution (API, bases de données, services web, interpréteurs de code) qui n'avaient peut-être pas été anticipés lors de la conception ou de l'évaluation du système. Cela crée une cible mouvante pour l'évaluation des risques et la conformité. Les capacités du système le lundi peuvent différer sensiblement de ses capacités le vendredi.
Ces trois caractéristiques interagissent. Un agent doté d'une capacité de prise d'action autonome, opérant sur des chaînes multi-étapes et invoquant de manière dynamique des outils découverts lors de l'exécution, présente un défi de gouvernance qui n'est pas simplement plus difficile que la gouvernance d'un système d'IA conventionnel : il est structurellement différent.
Comment les réglementations existantes s'appliquent
Une idée reçue courante veut que la réglementation actuelle sur l'IA ne couvre pas les systèmes agentiques, et qu'un nouveau cadre législatif soit nécessaire pour que les obligations de gouvernance s'appliquent. C'est inexact, et les organisations qui attendent une réglementation « spécifique aux agents » risquent de se retrouver en situation de non-conformité au regard de lois déjà en vigueur.
L'EU AI Act
La définition d'un système d'IA à l'article 3, paragraphe 1, de l'EU AI Act décrit « un système basé sur une machine conçu pour fonctionner avec différents niveaux d'autonomie et qui peut faire preuve d'adaptabilité après déploiement, et qui, pour des objectifs explicites ou implicites, déduit de l'entrée qu'il reçoit comment générer des sorties telles que des prédictions, du contenu, des recommandations ou des décisions qui peuvent influencer des environnements physiques ou virtuels. »[2]
Chaque élément de cette définition s'applique sans difficulté à l'IA agentique. Les « différents niveaux d'autonomie » envisagent explicitement un spectre allant d'un fonctionnement dirigé par l'homme à un fonctionnement entièrement autonome. Les « objectifs implicites », bien que rédigés principalement pour cibler des systèmes où l'objectif est implicite de par la conception ou l'entraînement plutôt qu'énoncé sous forme de prompt, sont suffisamment larges pour couvrir les sous-objectifs émergents que les agents poursuivent lorsqu'ils décomposent des instructions de haut niveau, bien que cette position d'interprétation n'ait pas encore été testée dans le cadre d'une application de la loi ou par le biais d'orientations officielles du Bureau de l'IA.[3] Le terme « décisions » englobe la sélection d'actions que les agents effectuent à chaque étape. Enfin, l'expression « influencer des environnements physiques ou virtuels » va au-delà de la génération passive de résultats pour englober les actions de modification de l'environnement qui définissent le comportement agentique.
Le calendrier d'application du règlement est progressif. Les interdictions concernant les systèmes d'IA à risque inacceptable sont entrées en vigueur le 2 février 2025. Les obligations pour les modèles d'IA à usage général (GPAI) s'appliquent à partir du 2 août 2025. L'ensemble des obligations relatives aux systèmes à haut risque au titre de l'annexe III entrera en vigueur le 2 août 2026.[4] Les organisations qui déploient des systèmes agentiques dans des cas d'usage à haut risque disposent d'un calendrier qui se resserre pour se préparer.
Lorsqu'un système agentique relève d'un cas d'usage à haut risque figurant à l'annexe III (décisions en matière d'emploi, notation de crédit, maintien de l'ordre, gestion d'infrastructures critiques), l'ensemble des obligations relatives au haut risque s'applique. Celles-ci comprennent les systèmes de gestion des risques (article 9), la gouvernance des données (article 10), la documentation technique (article 11), la tenue de registres et la journalisation automatique (article 12), la transparence (article 13), le contrôle humain (article 14), ainsi que les exigences de précision, de robustesse et de cybersécurité (article 15).[5] L'article 12 mérite une attention particulière : pour les systèmes dont les décisions se déroulent à travers des chaînes de raisonnement multi-étapes avec des invocations dynamiques d'outils, les exigences de journalisation sont à la fois les plus exigeantes sur le plan technique et les plus importantes sur le plan opérationnel.
Le cadre opérationnel du règlement est certes mis à l'épreuve par les cas d'usage agentiques, en particulier concernant l'évaluation de la conformité des systèmes dynamiques, la répartition des responsabilités entre fournisseur et déployeur lorsque les agents invoquent des outils tiers, et ce que signifie un contrôle humain « proportionné » pour des systèmes prenant des dizaines de micro-décisions à la seconde.[6] Mais le périmètre réglementaire est clair. Les systèmes d'IA agentiques sont des systèmes d'IA au sens du règlement, et les obligations s'appliquent.
Obligations relatives aux modèles GPAI
De nombreux agents d'entreprise sont construits sur des modèles d'IA à usage général fournis par des tiers : Anthropic, OpenAI, Google, Meta et d'autres. L'EU AI Act impose des obligations spécifiques aux fournisseurs de modèles GPAI en vertu des articles 51 à 56, notamment en matière de documentation technique, de transparence de la politique de droit d'auteur et, pour les modèles désignés comme présentant un risque systémique, de tests contradictoires et de signalement d'incidents.[7] Le code de bonnes pratiques pour l'IA à usage général, finalisé fin 2025, fournit une voie de conformité pour ces obligations.
Pour les déployeurs en entreprise, l'interaction entre les obligations du fournisseur de GPAI et les obligations du déployeur crée un paysage de conformité à plusieurs niveaux. Le fournisseur du modèle de fondation assume certaines responsabilités ; l'organisation qui le déploie en assume d'autres. Lorsqu'un framework d'agent assemble un modèle GPAI, une couche d'orchestration et des outils tiers en un système composite, la répartition des obligations tout au long de la chaîne de valeur devient un défi de gouvernance à part entière, un défi que la section multi-parties prenantes ci-dessous aborde directement.
ISO/IEC 42001
La norme internationale pour les systèmes de management de l'IA, publiée en décembre 2023, fournit un cadre pour établir, mettre en œuvre et améliorer continuellement un système de management de l'IA.[8] Bien qu'elle ne traite pas spécifiquement de l'IA agentique, ses contrôles relatifs à l'évaluation des risques, au contrôle humain et à la surveillance continue sont directement applicables. Les organisations qui visent la certification ISO 42001 doivent s'assurer que leur système de management de l'IA couvre explicitement les déploiements d'agents autonomes, et pas seulement les applications d'IA conventionnelles.
Le cadre de gestion des risques d'IA du NIST (NIST AI RMF)
Les quatre fonctions clés du NIST AI RMF (Gouverner, Cartographier, Mesurer, Gérer) fournissent une approche structurée de la gestion des risques de l'IA qui s'étend naturellement aux systèmes agentiques.[9] L'accent mis par ce cadre sur l'évaluation contextuelle des risques et la surveillance continue est particulièrement pertinent compte tenu de la nature dynamique du comportement des agents. Le document d'accompagnement sur les risques de l'IA générative (NIST AI 600-1) aborde plusieurs risques propres aux agents utilisant des outils, notamment l'injection de prompts et l'exposition involontaire de données.[10] L'OCDE, dont la définition du système d'IA a influencé l'article 3, paragraphe 1, s'efforce également de développer des cadres de classification intégrant le niveau d'autonomie comme dimension, des travaux qui façonneront probablement l'évolution de la gouvernance de l'IA agentique au niveau international.[11]
Exigences émergentes au niveau des États et des secteurs spécifiques
La loi sur l'IA du Colorado (Colorado AI Act), applicable à compter de février 2026 sous réserve d'amendements législatifs en cours, exige des développeurs et des déployeurs de systèmes d'IA à haut risque qu'ils fassent preuve d'une diligence raisonnable afin d'éviter toute discrimination algorithmique dans les décisions importantes.[12] Les systèmes agentiques qui prennent ou influencent de manière substantielle des décisions en matière d'emploi, de finance, d'assurance ou de logement entrent directement dans ce champ d'application. Dans les services financiers, les directives interorganisations sur la gestion des risques liés aux modèles (les lettres SR 11-7 de la Réserve fédérale et OCC 2011-12) s'appliquent aux agents d'IA utilisés pour l'évaluation des risques et la prise de décision, bien qu'elles aient été conçues pour des modèles statistiques traditionnels et nécessitent une interprétation rigoureuse pour les agents basés sur des modèles de fondation opérant avec un accès autonome à des outils.[13]
Le cadre de gouvernance de l'IA agentique
Gouverner l'IA agentique nécessite des contrôles qui répondent aux caractéristiques spécifiques mentionnées ci-dessus : prise d'action autonome, raisonnement multi-étapes et invocation dynamique d'outils. Le cadre développé ici, basé sur le travail d'Enzai avec des équipes de gouvernance d'entreprise, organise ces contrôles en cinq niveaux : la classification de l'autonomie, la liste blanche des actions, la logique d'escalade, la traçabilité et la surveillance continue. Chaque niveau s'appuie sur le précédent.
Niveau 1 : Classification de l'autonomie
Tous les agents ne requièrent pas le même niveau de gouvernance. Un agent qui rédige des projets de réponses à des e-mails pour révision humaine présente un profil de risque fondamentalement différent de celui d'un agent qui exécute de manière autonome des transactions financières. La première étape de tout programme de gouvernance de l'IA agentique consiste à classifier le niveau d'autonomie de chaque agent et à associer cette classification à des contrôles proportionnés.
Niveau | Label | Description | Exigence de gouvernance |
|---|---|---|---|
1 | Assistif | L'agent génère des recommandations ou des ébauches ; l'humain examine et approuve chaque action avant son exécution | Contrôles standard de qualité de l'IA |
2 | Supervisé | L'agent exécute des actions dans des paramètres définis ; l'humain surveille et conserve la possibilité d'intervenir | Protocoles de surveillance et mécanismes d'intervention clairs |
3 | Autonome délimité | L'agent opère de manière autonome dans un espace d'action restreint et des garde-fous prédéfinis | Liste blanche d'actions rigoureuse, logique d'escalade, surveillance continue |
4 | Entièrement autonome | L'agent opère avec une grande discrétion sur des tâches ouvertes | Contrôles les plus stricts : surveillance en temps réel, pistes d'audit complètes, examen régulier des résultats par l'humain |
La classification doit être spécifique au cas d'usage, et non au modèle. Le même modèle de fondation peut alimenter un assistant de niveau 1 dans un déploiement et un agent autonome de niveau 3 dans un autre. Les obligations de gouvernance s'attachent au déploiement, pas au modèle.
Niveau 2 : Liste blanche d'actions et espaces d'action délimités
Le contrôle le plus efficace pour l'IA agentique consiste à limiter ce qu'elle peut faire. Plutôt que de tenter de prédire et de prévenir tous les modes de défaillance possibles, la liste blanche des actions définit l'ensemble des actions autorisées qu'un agent peut entreprendre : les outils qu'il peut invoquer, les API qu'il peut appeler, les données auxquelles il peut accéder, les systèmes qu'il peut modifier.
Il s'agit d'une approche de liste d'autorisation (allow-list) et non de liste de blocage (deny-list). Par défaut, toute action qui n'est pas explicitement autorisée est interdite. Cela inverse le modèle de sécurité classique des systèmes logiciels (où tout ce qui n'est pas explicitement interdit est autorisé) et reflète la réalité selon laquelle les systèmes d'IA agentiques peuvent découvrir et tenter des actions que leurs concepteurs n'ont jamais envisagées.
La mise en œuvre pratique implique de définir les limites d'action à trois niveaux :
Accès aux outils : Les API, bases de données, services et environnements d'exécution de code que l'agent est autorisé à invoquer.
Contraintes de paramètres : Les entrées que l'agent est autorisé à transmettre à chaque outil (par exemple, limiter un agent d'interrogation de base de données à des opérations de lecture seule sur des tables spécifiques).
Limites d'impact : Seuils sur la portée de toute action individuelle (par exemple, plafonner la valeur monétaire des transactions qu'un agent peut autoriser sans approbation humaine).
Une considération opérationnelle essentielle : les listes blanches d'actions doivent être maintenues à jour au fur et à mesure de l'évolution du paysage des outils. Lorsqu'un fournisseur de modèle de fondation déploie une mise à jour qui modifie le comportement du modèle, ou lorsque de nouveaux outils sont ajoutés à l'espace d'action potentiel d'un agent, la liste blanche doit être réexaminée et revalidée. Traiter les listes blanches comme une configuration statique plutôt que comme des éléments de gouvernance vivants est une cause fréquente d'échec.
Niveau 3 : Logique d'escalade
Même au sein d'espaces d'action délimités, les agents seront confrontés à des situations qui dépassent leurs compétences ou leur autorité. Une gouvernance efficace nécessite des parcours d'escalade prédéfinis, c'est-à-dire des règles claires indiquant quand un agent doit redonner le contrôle à un humain plutôt que de poursuivre de manière autonome.
Les déclencheurs d'escalade doivent inclure :
Seuils de confiance : Lorsque le niveau de confiance de l'agent dans l'action choisie descend en dessous d'un niveau défini.
Seuils d'impact : Lorsqu'une action proposée dépasse les limites d'impact prédéfinies (valeur financière, nombre d'enregistrements affectés, irréversibilité).
Détection d'anomalies : Lorsque le comportement de l'agent s'écarte des schémas attendus.
Limites de domaine : Lorsque l'agent rencontre une tâche ou un domaine en dehors de son champ d'application défini.
Conditions d'échec : Lorsqu'une invocation d'outil échoue ou renvoie des résultats inattendus.
La conception des mécanismes d'escalade est tout aussi importante que les déclencheurs eux-mêmes. L'escalade doit être fluide pour l'agent (il ne doit pas être « incité » à éviter l'escalade par des modèles de conception qui le pénalisent s'il le fait) et exploitable par l'humain (l'escalade doit inclure un contexte suffisant pour que l'humain puisse prendre une décision éclairée sans avoir à reconstituer toute la chaîne de raisonnement de l'agent).
Niveau 4 : Traçabilité et pistes d'audit
Les exigences réglementaires de l'EU AI Act (article 12 pour les systèmes à haut risque) ainsi que la réponse pratique aux incidents exigent une journalisation complète de l'activité des agents.[14] Pour les systèmes agentiques, cela signifie enregistrer non seulement les entrées et les sorties, mais aussi toute la chaîne de raisonnement, les invocations d'outils, les résultats intermédiaires et les décisions prises à chaque étape.
Une piste d'audit efficace pour l'IA agentique doit consigner :
L'objectif initial ou l'instruction fournie à l'agent.
Chaque étape de raisonnement et la justification de la sélection des actions.
Chaque invocation d'outil, y compris l'outil appelé, les paramètres transmis et la réponse reçue.
Les actions entreprises et leurs résultats.
Les événements d'escalade et les interventions humaines.
Les changements d'état environnementaux résultant des actions de l'agent.
Les horodatages et identifiants de session reliant les événements associés.
Ces journaux (logs) répondent à plusieurs objectifs : enquête après incident, conformité réglementaire, amélioration continue des contrôles de gouvernance et attribution de la responsabilité en cas de problème. Ils doivent être immuables, horodatés et stockés indépendamment du système d'agent lui-même afin de prévenir toute altération.
Niveau 5 : Surveillance continue
Une évaluation ponctuelle, qui consiste à évaluer un agent avant son déploiement et à supposer qu'il reste conforme, est insuffisante pour des systèmes dont les capacités et le comportement peuvent évoluer de manière dynamique. La gouvernance de l'IA agentique nécessite une surveillance continue selon plusieurs dimensions :
Surveillance des performances : Les résultats de l'agent respectent-ils les seuils de qualité et de précision ?
Surveillance comportementale : Le comportement de l'agent reste-t-il dans les limites des schémas attendus ? Les distributions d'actions évoluent-elles au fil du temps ?
Surveillance de la conformité : Les actions de l'agent restent-elles dans son espace d'action autorisé ? Les protocoles d'escalade sont-ils respectés ?
Surveillance de l'équité : Pour les agents qui prennent ou influencent des décisions concernant des individus, les résultats sont-ils équitables au regard des caractéristiques protégées ?
Surveillance de la sécurité : L'agent fait-il l'objet d'entrées contradictoires, de tentatives d'injection de prompts ou d'autres manipulations ?
La surveillance doit alimenter les contrôles de gouvernance. Lorsque la surveillance détecte une anomalie (une action en dehors de l'ensemble autorisé, un changement dans la distribution des résultats, un comportement suggérant une manipulation adverse), la réponse doit être automatisée dans la mesure du possible (mise en pause de l'agent, déclenchement d'une escalade) et documentée pour examen humain.
Qui est responsable lorsqu'un agent agit ?
L'un des aspects les plus complexes de la gouvernance de l'IA agentique réside dans la fragmentation de la responsabilité entre plusieurs acteurs. Le déploiement type d'un agent d'entreprise implique au moins quatre parties : le fournisseur du modèle de fondation (OpenAI, Anthropic, Google, Meta ou autres) ; le framework de l'agent ou la couche d'orchestration (qui peut être une plateforme tierce ou développée en interne) ; l'organisation qui déploie l'agent ; et les fournisseurs d'outils et d'API que l'agent invoque lors de l'exécution.
L'EU AI Act répartit les obligations entre fournisseurs et déployeurs, certaines dispositions s'adressant aux importateurs et distributeurs.[15] Mais cette binarité ne s'applique pas parfaitement à la chaîne de valeur agentique. Qui est le « fournisseur » d'un agent qui associe un modèle de fondation tiers à une couche d'orchestration interne appelant des API externes ? L'article 25 traite des situations dans lesquelles des tiers modifient ou réaffectent des systèmes d'IA, devenant potentiellement eux-mêmes des fournisseurs, mais les limites restent floues pour les systèmes composés de manière dynamique.[16]
Cette fragmentation crée également un risque lié à la chaîne d'approvisionnement des modèles de fondation que de nombreuses organisations sous-estiment. Lorsqu'un fournisseur de modèles déploie une mise à jour (une nouvelle version du modèle, des filtres de sécurité modifiés, des schémas de comportement modifiés), les contrôles de gouvernance validés par rapport à la version précédente peuvent ne plus être valables. Les listes blanches d'actions, les seuils d'escalade et les évaluations de conformité supposent tous une base de référence comportementale spécifique du modèle. Une mise à jour silencieuse du modèle peut invalider ces hypothèses sans aucun changement de la part du déployeur.
Une gouvernance pratique doit tenir compte de cette fragmentation. Les organisations qui déploient de l'IA agentique devraient :
Cartographier l'ensemble de la chaîne de valeur pour chaque déploiement d'agent, en identifiant chaque acteur et ses responsabilités en matière de gouvernance.
Établir des accords contractuels avec les fournisseurs d'outils et d'API traitant de la gestion des données, de la responsabilité et de la réponse aux incidents.
Maintenir une structure interne claire de responsabilisation : qui est propriétaire de chaque déploiement d'agent, qui est responsable de la surveillance et qui a le pouvoir d'intervenir ou d'arrêter le système.
Mettre en œuvre des processus de verrouillage de version (version pinning) et de gestion du changement pour les modèles de fondation, avec des déclencheurs de revalidation lorsque les fournisseurs publient des mises à jour.
Documenter la répartition des responsabilités de manière à satisfaire à un audit réglementaire.
Gestion des incidents pour l'IA agentique
La gouvernance ne consiste pas seulement à prévenir les défaillances, mais aussi à y répondre efficacement lorsqu'elles surviennent. Les systèmes d'IA agentiques nécessitent des procédures de réponse aux incidents qui tiennent compte de leur nature autonome et multi-étapes.
Un plan de réponse aux incidents pour l'IA agentique doit comprendre :
Des boutons d'arrêt d'urgence (kill switches) : La capacité d'interrompre immédiatement l'exécution d'un agent, en révoquant son accès aux outils et en empêchant d'autres actions. Cela doit être techniquement fiable (indépendant de la coopération de l'agent) et accessible au personnel désigné en quelques secondes.
Des procédures de rollback (restauration) : Dans la mesure du possible, des procédures prédéfinies pour annuler les actions entreprises par un agent. Toutes les actions ne sont pas réversibles, ce qui rend la piste d'audit et les limites d'impact décrites ci-dessus indispensables pour limiter la zone d'impact.
Des obligations de notification : Dans les secteurs réglementés, certaines défaillances d'agents peuvent déclencher des obligations de déclaration. Dans les services financiers, des transactions non autorisées peuvent nécessiter une notification aux autorités en quelques heures. En vertu de l'EU AI Act, les incidents graves impliquant des systèmes d'IA à haut risque doivent être signalés aux autorités de surveillance du marché.
Une analyse des causes profondes : L'enquête post-incident doit retracer l'ensemble de la chaîne de raisonnement, de l'objectif initial à chaque invocation d'outil et décision jusqu'au point de défaillance, en s'appuyant sur la piste d'audit enregistrée par le niveau 4.
La planification de la réponse aux incidents doit être réalisée avant le déploiement, et non après la première défaillance. Des exercices de simulation de pannes d'agents (franchissement d'une limite d'action, échec d'une escalade, réponse d'outil compromise) aident les équipes à acquérir les réflexes nécessaires pour réagir efficacement sous pression.
Opérationnaliser la gouvernance de l'IA agentique
Les cadres de gouvernance n'ont de valeur que s'ils peuvent être opérationnalisés, c'est-à-dire mis en œuvre dans la pratique sans créer de frictions telles qu'elles empêcheraient l'innovation que les agents sont censés apporter. Plusieurs principes permettent de combler le fossé entre théorie et pratique.
Intégrer la gouvernance dans le cycle de vie de l'agent
La gouvernance ne doit pas être un flux de travail distinct mené en parallèle du développement et du déploiement des agents. Elle doit être intégrée dans le pipeline de développement : classification de l'autonomie dès la phase de conception, liste blanche des actions lors du développement, test de la logique d'escalade avant le déploiement, surveillance continue en production. Cela s'apparente à l'approche du « shift-left » en matière de sécurité : une gouvernance intégrée dès le départ, et non greffée après coup.
Automatiser les contrôles de gouvernance
Les processus de gouvernance manuels ne peuvent pas suivre le rythme des agents qui opèrent à la vitesse des machines. La liste blanche des actions doit être appliquée par programmation, et non par des documents de politique générale. Les déclencheurs d'escalade doivent s'activer automatiquement, sans dépendre de la surveillance humaine des journaux. Les contrôles de conformité doivent s'exécuter sous forme d'étapes automatisées dans les pipelines de CI/CD, fournissant aux équipes d'ingénierie des signaux de réussite/échec clairs plutôt que des formulaires de conformité à remplir.
Intégrer la gouvernance dans l'inventaire de l'IA
Chaque système d'IA agentique doit être enregistré dans un inventaire centralisé de l'IA qui consigne sa classification d'autonomie, son espace d'action autorisé, ses protocoles d'escalade, sa configuration de surveillance, l'attribution des responsabilités et la version du modèle de fondation. Cet inventaire est la base du programme de gouvernance : sans lui, une organisation ne peut pas répondre aux questions fondamentales sur les agents qu'elle a déployés, ce qu'ils sont autorisés à faire et qui en est responsable.
Séquencer la mise en œuvre de manière pragmatique
Les organisations qui déploient des dizaines d'agents ne peuvent pas mettre en œuvre simultanément les cinq niveaux de gouvernance sur l'ensemble de leurs déploiements. Une approche de séquençage pratique :
Commencer par l'inventaire. On ne peut pas gouverner ce qu'on ne voit pas. Répertoriez chaque déploiement d'agent, y compris les déploiements fantômes que les équipes ont pu mettre en place de manière informelle.
Classifier les niveaux d'autonomie. Associez chaque agent à un niveau. Cela détermine la proportionnalité de chaque contrôle ultérieur.
Mettre en œuvre d'abord la liste blanche d'actions pour les agents de niveau 3 et 4. Ce sont eux qui présentent le risque le plus élevé et qui bénéficient le plus d'espaces d'action délimités.
Créer des pistes d'audit dès le premier jour. La journalisation est le contrôle le moins coûteux à mettre en œuvre tôt et le plus onéreux à intégrer a posteriori.
Ajouter la surveillance continue à mesure que les déploiements mûrissent. Commencez par la surveillance de la conformité (l'agent reste-t-il dans sa liste blanche ?) et étendez-la au fil du temps à la surveillance comportementale et d'équité.
Considérer la gouvernance comme un avantage concurrentiel
Les organisations qui perçoivent la gouvernance uniquement comme un coût de conformité sous-investiront dans ce domaine et susciteront de la frustration chez les équipes d'ingénierie. Il est préférable de concevoir la gouvernance comme une condition essentielle au déploiement à grande échelle. Sans contrôles systématiques, les déploiements d'agents se limiteront à des cas d'usage à faible risque et à faible valeur, car l'organisation ne pourra pas garantir une surveillance adéquate pour des projets plus ambitieux. La gouvernance est ce qui permet à une entreprise de passer de projets pilotes prudents à des déploiements en production ayant un réel impact commercial.
Perspectives d'évolution de la réglementation de l'IA agentique
Le paysage de la gouvernance de l'IA agentique va évoluer rapidement au cours des deux prochaines années. Le CEN et le CENELEC élaborent des normes harmonisées au titre de l'EU AI Act par l'intermédiaire du comité technique mixte 21, dont le mandat a été modifié en juin 2025 pour refléter l'accélération du programme de normalisation.[17] Ces normes devront définir ce qu'est un contrôle humain proportionné pour des systèmes hautement autonomes (espaces d'action délimités, points de contrôle structurés, pistes d'audit et mécanismes d'intervention), sans imposer une présence humaine constante à chaque étape.
La Commission européenne a le pouvoir de mettre à jour la liste des cas d'usage à haut risque de l'annexe III par le biais d'actes délégués à mesure que des risques spécifiques aux agents apparaissent, sans nécessiter de modification législative complète.[18] Les orientations de la Commission peuvent également clarifier la manière dont le cadre fournisseur-déployeur s'applique aux chaînes de valeur agentiques et dans quels cas l'invocation d'un outil lors de l'exécution constitue une « modification substantielle » au titre de l'article 3, paragraphe 23. Les codes de bonnes pratiques prévus à l'article 56 offrent un autre levier pour traiter les risques spécifiques aux agents au niveau du modèle GPAI : fonctionnalités de contrôlabilité, journalisation de l'utilisation des outils et contraintes sur l'espace d'action.[19]
Des groupes sectoriels, notamment l'IAPP et l'OCDE, travaillent activement à l'élaboration de lignes directrices de gouvernance pour l'IA autonome.[20] L'ISO/IEC JTC 1/SC 42 continue d'étendre la série de normes d'IA 42000, et il ne serait pas surprenant de voir émerger des travaux spécifiques aux agents à mesure que le paysage des déploiements mûrit.
Les organisations qui attendent ces normes et orientations avant d'agir devront adapter rétroactivement la gouvernance à des déploiements d'agents qui n'ont jamais été conçus pour cela. C'est un exercice coûteux et perturbateur. L'approche la plus prudente consiste à mettre en place l'infrastructure de gouvernance dès maintenant et à l'adapter à mesure que les exigences réglementaires et normatives se précisent.
Le défi de la gouvernance de l'IA agentique est réel, mais il n'est pas sans précédent. Les entreprises ont déjà gouverné d'autres systèmes complexes, autonomes et à haut risque, du trading algorithmique aux véhicules autonomes en passant par l'automatisation robotisée des processus (RPA). Les principes sont identiques : classifier le risque, limiter l'action, exiger l'escalade, maintenir la traçabilité et surveiller en continu. Ce qui est nouveau, c'est la vitesse à laquelle l'IA agentique est déployée et l'étendue des fonctions de l'entreprise qu'elle touche.
La mise en œuvre de ces cinq niveaux de gouvernance à travers des dizaines de déploiements d'agents, chacun ayant des niveaux d'autonomie, des configurations d'accès aux outils et des obligations réglementaires différents, est autant un problème d'infrastructure qu'un problème de politique. Chez Enzai, notre plateforme est conçue pour relever ce défi : bâtir cette infrastructure, de la classification de l'autonomie et de la liste blanche des actions jusqu'à la surveillance continue et la conformité réglementaire avec l'EU AI Act, l'ISO 42001 et le NIST AI RMF. Pour en savoir plus, réservez une démo.
Enzai est la plateforme leader de gouvernance de l'IA en entreprise, conçue spécifiquement pour aider les organisations à passer d'une politique abstraite à une surveillance opérationnelle. Notre plateforme de gestion des risques liés à l'IA fournit l'infrastructure spécialisée requise pour gérer la gouvernance de l'IA agentique, maintenir un inventaire de l'IA complet et garantir la conformité à l'EU AI Act. En automatisant les flux de travail complexes, Enzai permet aux entreprises de faire évoluer l'adoption de l'IA en toute confiance tout en maintenant l'alignement avec les normes mondiales telles que ISO 42001 et le NIST.
Références
[1] Gartner, « Agentic AI: The Next Frontier of Enterprise AI », octobre 2024. Gartner prévoyait que les capacités de l'IA agentique figureraient dans 33 % des applications logicielles d'entreprise d'ici 2028.
[2] Règlement (UE) 2024/1689 du Parlement européen et du Conseil, article 3, paragraphe 1. Journal officiel de l'Union européenne, série L, 12 juillet 2024.
[3] Les orientations interprétatives de la Commission européenne sur la définition des systèmes d'IA (publiées en 2025) apportent un contexte supplémentaire mais n'ont pas traité spécifiquement de la décomposition des sous-objectifs émergents dans les systèmes agentiques.
[4] Règlement (UE) 2024/1689, articles 113 et 114 (dates d'entrée en vigueur et d'application).
[5] Règlement (UE) 2024/1689, chapitre III, section 2, articles 9 à 15.
[6] Pour une analyse détaillée de ces contraintes opérationnelles, voir Enzai, « The EU AI Act Bends. It Need Not Break », mars 2026.
[7] Règlement (UE) 2024/1689, chapitre V, articles 51 à 56 (obligations des fournisseurs de modèles d'IA à usage général).
[8] ISO/CEI 42001:2023, Technologies de l'information - Intelligence artificielle - Système de management. Organisation internationale de normalisation, décembre 2023.
[9] NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, janvier 2023.
[10] NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1, juillet 2024.
[11] OCDE, « OECD Framework for the Classification of AI Systems », OECD Digital Economy Papers n° 323, février 2022. Les principes de l'OCDE sur l'IA ont été mis à jour en mai 2024.
[12] Colorado SB 24-205, Concerning Consumer Protections for Artificial Intelligence, signé en mai 2024. Date d'entrée en vigueur initiale le 1er février 2026 ; sous réserve d'amendements législatifs en cours.
[13] Conseil des gouverneurs du Système de la Réserve fédérale, Lettre SR 11-7, « Supervisory Guidance on Model Risk Management », avril 2011 ; Office of the Comptroller of the Currency, OCC 2011-12.
[14] Règlement (UE) 2024/1689, article 12 (tenue de registres / journalisation automatique pour les systèmes d'IA à haut risque).
[15] Règlement (UE) 2024/1689, articles 16 (obligations des fournisseurs) et 26 (obligations des déployeurs).
[16] Règlement (UE) 2024/1689, article 25 (obligations des autres parties le long de la chaîne de valeur de l'IA).
[17] Demande de normalisation M/593 de la Commission européenne adressée au CEN et au CENELEC, telle que modifiée en juin 2025 ; programme de travail du CEN-CENELEC JTC 21.
[18] Règlement (UE) 2024/1689, article 7 (modifications de l'annexe III).
[19] Règlement (UE) 2024/1689, article 56 (codes de bonnes pratiques pour les modèles d'IA à usage général).
[20] IAPP AI Governance Center ; Observatoire des politiques d'IA de l'OCDE, oecd.ai ; programme de travail de l'ISO/CEI JTC 1/SC 42.
Certifié ISO 27001 depuis 2023, audité chaque année par NQA
Traitement des données aligné sur le RGPD
Données clients hébergées sur AWS dans plusieurs régions
Utilisez votre propre modèle d’IA via une connexion privée
Identifiez l’IA utilisée par vos équipes, examinez-la avant sa mise en service, évaluez-la au regard des règles applicables et contrôlez ce que les agents peuvent faire. Conçu pour les organisations réglementées.