Découvrez la gamme complète de produits de gouvernance de l'IA d'Enzai, conçus pour aider les organisations à gérer, surveiller et faire évoluer l'IA en toute confiance. Des processus d'intégration structurés et des inventaires centralisés d'IA aux évaluations automatisées et à la surveillance en temps réel, Enzai fournit les éléments nécessaires pour intégrer la gouvernance directement dans les flux de travail quotidiens de l'IA, sans freiner l'innovation.

Enzai

Réglementations sur l'IA

Gouvernance de l’IA agentique : le guide d’entreprise de référence

Réglementations sur l'IA

Gouvernance de l’IA agentique : le guide d’entreprise de référence

Réglementations sur l'IA

Gouvernance de l’IA agentique : le guide d’entreprise de référence

Le cadre de gouvernance à 5 couches pour l’IA agentique d’entreprise — classification de l’autonomie, contrôles des actions, logique d’escalade et conformité alignée sur l’AI Act de l’Union européenne.

Belfast

Belfast

28 minutes de lecture

Par

Par

Ryan Donnelly

Ryan Donnelly

Le changement de paradigme agentique

Le changement de paradigme agentique

L’IA agentique requiert une gouvernance fondamentalement différente de celle des modèles conventionnels, car elle dispose d’une autonomie opérationnelle — elle exécute un raisonnement en plusieurs étapes, invoque dynamiquement des outils et prend des actions irréversibles sans supervision humaine constante.

L’IA agentique requiert une gouvernance fondamentalement différente de celle des modèles conventionnels, car elle dispose d’une autonomie opérationnelle — elle exécute un raisonnement en plusieurs étapes, invoque dynamiquement des outils et prend des actions irréversibles sans supervision humaine constante.

Le cadre de gouvernance à 5 niveaux

Le cadre de gouvernance à 5 niveaux

Pour déployer des agents en toute sécurité et se conformer à l’EU AI Act, les entreprises doivent mettre en place une architecture structurée comprenant une classification de l’autonomie, une liste blanche stricte des actions autorisées, une logique d’escalade prédéfinie, des journaux d’audit immuables et une surveillance comportementale continue.

Pour déployer des agents en toute sécurité et se conformer à l’EU AI Act, les entreprises doivent mettre en place une architecture structurée comprenant une classification de l’autonomie, une liste blanche stricte des actions autorisées, une logique d’escalade prédéfinie, des journaux d’audit immuables et une surveillance comportementale continue.

Sujets

Gouvernance de l’IA
IA agentique
Règlement européen sur l’IA
Gestion des risques

Sujets

En dix-huit mois, l’IA agentique est passée du prototype de recherche à la réalité de l’entreprise. À la fin de 2025, Gartner prévoyait que les capacités d’IA agentique seraient intégrées dans plus d’un tiers des applications logicielles d’entreprise d’ici 2028, contre moins d’un pour cent en 2024.[1] Salesforce a lancé Agentforce. Microsoft a intégré l’orchestration des agents dans Copilot Studio. ServiceNow, SAP et des dizaines d’autres ont suivi. Pour les entreprises, la question n’est plus de savoir s’il faut déployer des agents IA, mais si une gouvernance de l’IA agentique est en place avant qu’un incident ne se produise.

Cette urgence est fondée. Les systèmes d’IA agentique sont qualitativement différents de l’IA que la plupart des cadres de gouvernance ont été conçus pour encadrer. Un classificateur attribue des étiquettes. Un chatbot génère du texte. Un agent poursuit des objectifs : il planifie des workflows en plusieurs étapes, sélectionne des outils, exécute des actions, observe les résultats et itère — souvent au fil de dizaines de décisions avec une intervention humaine minimale. C’est cette autonomie opérationnelle qui rend les agents précieux. C’est aussi ce qui les rend difficiles à gouverner. La gouvernance de l’IA agentique — l’ensemble des politiques, des contrôles et des mécanismes de supervision qui garantissent que les agents IA autonomes opèrent dans des limites de risque acceptables — est désormais un impératif d’entreprise, et non une considération d’avenir.

Ce guide présente un cadre pratique pour la gouvernance de l’IA agentique en entreprise. Il couvre ce que sont les systèmes d’IA agentique et pourquoi ils exigent un traitement de gouvernance distinct ; la manière dont les réglementations existantes s’appliquent ; les contrôles de gouvernance fondamentaux que les organisations doivent mettre en œuvre ; et la façon d’opérationnaliser ces contrôles sans étouffer l’innovation que les agents sont censés permettre.

Ce qui différencie l’IA agentique

Le terme « IA agentique » désigne des systèmes d’IA capables d’entreprendre des actions autonomes en vue d’atteindre des objectifs, plutôt que de simplement générer des résultats destinés à une consommation humaine. La distinction est importante, car elle modifie fondamentalement le profil de risque.

Un système d’IA conventionnel fonctionne selon un paradigme requête-réponse. Un utilisateur fournit une entrée ; le système génère une sortie ; l’utilisateur décide quoi en faire. L’humain demeure dans la boucle à chaque étape déterminante. Un système agentique rompt ce schéma. Il reçoit un objectif de haut niveau, le décompose en sous-tâches, sélectionne et invoque des outils pour accomplir chaque étape, évalue les résultats intermédiaires et ajuste son approche — le tout avec des degrés variables de supervision humaine, allant de l’approbation complète à chaque étape jusqu’à une exécution totalement autonome.

Trois caractéristiques distinguent l’IA agentique des systèmes conventionnels et créent des défis de gouvernance distincts.

Actions autonomes

Les agents ne se contentent pas de recommander ; ils agissent. Ils envoient des courriels, exécutent du code, modifient des bases de données, appellent des API, créent des fichiers et interagissent avec des services externes. Chaque action modifie l’état du monde d’une manière qui peut être difficile, voire impossible, à inverser. Une image mal classée peut être corrigée. Un courriel envoyé au mauvais destinataire, un enregistrement de base de données écrasé ou une transaction financière exécutée par erreur ne peuvent pas simplement être annulés.

Chaînes de raisonnement en plusieurs étapes

Les agents opèrent sur des chaînes de raisonnement étendues où chaque étape s’appuie sur la précédente. Une seule instruction de haut niveau — « trouver le meilleur candidat pour ce poste ouvert » — peut déclencher des dizaines de décisions intermédiaires sur les bases de données à interroger, les critères à pondérer, les candidats à présélectionner et la manière de communiquer avec eux. Les cadres de gouvernance conçus pour des systèmes à décision unique peinent à maîtriser cette complexité cumulée.

Invocation dynamique d’outils

Les architectures d’agents modernes permettent aux agents de découvrir et d’invoquer des outils à l’exécution — API, bases de données, services Web, interpréteurs de code — qui n’avaient pas nécessairement été anticipés au moment de la conception ou de l’évaluation du système. Cela crée une cible mouvante pour l’évaluation des risques et la conformité. Les capacités du système le lundi peuvent différer sensiblement de celles du vendredi.

Ces trois caractéristiques interagissent. Un agent doté d’actions autonomes, opérant au travers de chaînes en plusieurs étapes et invoquant dynamiquement des outils qu’il découvre à l’exécution, présente un défi de gouvernance qui n’est pas seulement plus difficile que celui d’un système d’IA conventionnel — il est structurellement différent.

Comment les réglementations existantes s’appliquent

Une idée reçue répandue veut que la réglementation actuelle de l’IA ne couvre pas les systèmes agentiques — qu’un nouveau cadre législatif soit nécessaire avant que des obligations de gouvernance ne s’appliquent. C’est inexact, et les organisations qui attendent une réglementation « spécifique à l’IA agentique » risquent de se retrouver en non-conformité au regard de lois déjà en vigueur.

Le règlement européen sur l’IA

La définition du système d’IA figurant à l’article 3(1) du règlement européen sur l’IA décrit « un système fondé sur une machine qui est conçu pour fonctionner avec différents niveaux d’autonomie et qui peut faire preuve d’adaptabilité après son déploiement et qui, pour des objectifs explicites ou implicites, déduit, à partir de l’entrée qu’il reçoit, la manière de générer des sorties telles que des prédictions, des contenus, des recommandations ou des décisions susceptibles d’influencer des environnements physiques ou virtuels ».[2]

Chaque élément de cette définition englobe sans difficulté l’IA agentique. « Différents niveaux d’autonomie » envisage explicitement un spectre allant d’un fonctionnement dirigé par l’humain à une exécution totalement autonome. « Objectifs implicites » — bien que rédigé principalement pour couvrir des systèmes dont l’objectif est implicite par conception ou par entraînement plutôt qu’énoncé sous forme de prompt — est suffisamment large pour englober les sous-objectifs émergents que les agents poursuivent lorsqu’ils décomposent des instructions de haut niveau, même si cette position interprétative n’a pas encore été testée dans le cadre de l’application de la loi ni au travers de lignes directrices formelles du bureau de l’IA.[3] « Décisions » couvre la sélection d’actions que les agents effectuent à chaque étape. Et « influencer des environnements physiques ou virtuels » va au-delà de la génération passive de sorties pour englober les actions modifiant l’environnement qui définissent le comportement agentique.

Le calendrier d’application du règlement est progressif. Les interdictions visant les systèmes d’IA à risque inacceptable sont entrées en vigueur le 2 février 2025. Les obligations applicables aux modèles d’IA à usage général (GPAI) s’appliquent à partir du 2 août 2025. L’ensemble complet des obligations applicables aux systèmes à haut risque au titre de l’annexe III prend effet le 2 août 2026.[4] Les organisations qui déploient des systèmes agentiques dans des cas d’usage à haut risque disposent d’une fenêtre de préparation de plus en plus étroite.

Lorsqu’un système agentique relève d’un cas d’usage à haut risque énuméré à l’annexe III — décisions en matière d’emploi, scoring de crédit, application de la loi, gestion d’infrastructures critiques — l’ensemble des obligations applicables aux systèmes à haut risque s’applique. Celles-ci incluent les systèmes de gestion des risques (article 9), la gouvernance des données (article 10), la documentation technique (article 11), la tenue de registres et la journalisation automatique (article 12), la transparence (article 13), la supervision humaine (article 14) ainsi que les exigences de précision, de robustesse et de cybersécurité (article 15).[5] L’article 12 mérite une attention particulière : pour des systèmes dont les décisions se déploient au fil de chaînes de raisonnement en plusieurs étapes avec des invocations dynamiques d’outils, les exigences de journalisation sont à la fois les plus exigeantes sur le plan technique et l’obligation la plus importante sur le plan opérationnel à maîtriser correctement.

Le cadre opérationnel du règlement est certes mis à l’épreuve par les cas d’usage agentiques — en particulier s’agissant de l’évaluation de conformité des systèmes dynamiques, de la répartition des responsabilités entre fournisseur et déployeur lorsque les agents invoquent des outils tiers, et de ce que signifie une supervision humaine « proportionnée » pour des systèmes prenant des dizaines de microdécisions par seconde.[6] Mais le périmètre réglementaire est clair. Les systèmes d’IA agentique sont des systèmes d’IA au sens du règlement, et les obligations s’appliquent.

Obligations relatives aux modèles GPAI

De nombreux agents d’entreprise sont fondés sur des modèles d’IA à usage général fournis par des tiers — Anthropic, OpenAI, Google, Meta et d’autres. Le règlement européen sur l’IA impose des obligations spécifiques aux fournisseurs de modèles GPAI au titre des articles 51 à 56, notamment en matière de documentation technique, de transparence des politiques de droit d’auteur et, pour les modèles désignés comme présentant un risque systémique, de tests adversariaux et de signalement des incidents.[7] Le code de bonnes pratiques GPAI, finalisé fin 2025, fournit une voie de mise en conformité pour ces obligations.

Pour les organisations déployantes, l’articulation entre les obligations du fournisseur GPAI et celles du déployeur crée un paysage de conformité à plusieurs niveaux. Le fournisseur du modèle de fondation assume certaines responsabilités ; l’organisation qui le déploie en assume d’autres. Lorsqu’un cadre d’agents assemble un modèle GPAI, une couche d’orchestration et des outils tiers en un système composite, l’affectation des obligations tout au long de la chaîne de valeur devient en soi un défi de gouvernance — un point que la section sur les parties prenantes multiples, ci-dessous, traite directement.

ISO/IEC 42001

La norme internationale relative aux systèmes de management de l’IA, publiée en décembre 2023, fournit un cadre pour établir, mettre en œuvre et améliorer en continu un système de management de l’IA.[8] Bien qu’elle ne traite pas spécifiquement de l’IA agentique, ses contrôles en matière d’évaluation des risques, de supervision humaine et de surveillance continue sont directement applicables. Les organisations qui poursuivent une certification ISO 42001 doivent veiller à ce que leur système de management de l’IA couvre explicitement les déploiements d’agents autonomes, et pas seulement les applications d’IA conventionnelles.

Cadre de gestion des risques liés à l’IA du NIST

Les quatre fonctions fondamentales du NIST AI RMF — gouverner, cartographier, mesurer, gérer — offrent une approche structurée de la gestion des risques liés à l’IA qui s’étend naturellement aux systèmes agentiques.[9] L’accent mis par ce cadre sur l’évaluation contextualisée des risques et la surveillance continue est particulièrement pertinent au regard de la nature dynamique du comportement des agents. Le document d’accompagnement sur les risques liés à l’IA générative (NIST AI 600-1) traite de plusieurs risques pertinents pour les agents utilisant des outils, notamment l’injection de prompt et l’exposition involontaire de données.[10] L’OCDE, dont la définition d’un système d’IA a influencé l’article 3(1), a également développé activement des cadres de classification intégrant le niveau d’autonomie comme dimension — un travail qui devrait probablement façonner l’évolution internationale de la gouvernance de l’IA agentique.[11]

Exigences émergentes au niveau des États et sectorielles

Le Colorado AI Act, dont l’entrée en vigueur est prévue pour février 2026 sous réserve d’amendements législatifs en cours, impose aux développeurs et aux déployeurs de systèmes d’IA à haut risque de faire preuve d’une diligence raisonnable afin d’éviter la discrimination algorithmique dans les décisions ayant des conséquences.[12] Les systèmes agentiques qui prennent des décisions en matière d’emploi, de finance, d’assurance ou de logement, ou qui les influencent de manière substantielle, entrent clairement dans le champ d’application. Dans les services financiers, les orientations interagences en matière de gestion du risque de modèle (SR 11-7 de la Réserve fédérale et OCC 2011-12) s’appliquent aux agents d’IA utilisés pour l’évaluation des risques et la prise de décision, bien qu’elles aient été conçues pour des modèles statistiques traditionnels et qu’elles nécessitent une interprétation attentive pour les agents fondés sur des modèles de fondation opérant avec un accès autonome aux outils.[13]

Le cadre de gouvernance de l’IA agentique

La gouvernance de l’IA agentique exige des contrôles qui répondent aux caractéristiques spécifiques décrites ci-dessus : actions autonomes, raisonnement en plusieurs étapes et invocation dynamique d’outils. Le cadre élaboré ici, fondé sur le travail d’Enzai avec des équipes de gouvernance d’entreprise, organise ces contrôles en cinq couches : classification de l’autonomie, liste d’autorisation des actions, logique d’escalade, traçabilité et surveillance continue. Chaque couche s’appuie sur la précédente.

Couche 1 : classification de l’autonomie

Tous les agents n’exigent pas le même niveau de gouvernance. Un agent qui rédige des réponses aux courriels pour revue humaine présente un profil de risque fondamentalement différent de celui qui exécute de manière autonome des transactions financières. La première étape de tout programme de gouvernance de l’IA agentique consiste à classer le niveau d’autonomie de chaque agent et à faire correspondre cette classification à des contrôles proportionnés.





Niveau

Intitulé

Description

Exigence de gouvernance

1

Assistif

L’agent génère des recommandations ou des brouillons ; l’humain examine et approuve chaque action avant exécution

Contrôles qualité IA standard

2

Supervisé

L’agent exécute des actions dans des paramètres définis ; l’humain surveille et conserve la capacité d’intervenir

Protocoles de surveillance clairs et mécanismes d’intervention

3

Autonome encadré

L’agent opère de manière autonome dans un espace d’action restreint et selon des garde-fous prédéfinis

Liste d’autorisation des actions rigoureuse, logique d’escalade, surveillance continue

4

Totalement autonome

L’agent opère avec une large discrétion sur des tâches ouvertes

Contrôles les plus stricts : surveillance en temps réel, pistes d’audit complètes, revue humaine régulière des résultats

La classification doit être propre au cas d’usage, et non au modèle. Le même modèle de fondation peut alimenter un assistant de niveau 1 dans un déploiement et un agent autonome de niveau 3 dans un autre. Les obligations de gouvernance s’attachent au déploiement, et non au modèle.

Couche 2 : liste d’autorisation des actions et espaces d’action bornés

Le contrôle le plus efficace pour l’IA agentique consiste à restreindre ce qu’elle peut faire. Plutôt que d’essayer de prédire et de prévenir chaque mode de défaillance possible, la liste d’autorisation des actions définit l’ensemble des actions permises qu’un agent peut entreprendre — les outils qu’il peut invoquer, les API qu’il peut appeler, les données auxquelles il peut accéder, les systèmes qu’il peut modifier.

Il s’agit d’une approche par liste d’autorisation, et non par liste de refus. La position par défaut est que toute action qui n’est pas explicitement autorisée est interdite. Cela inverse le modèle de sécurité habituel des systèmes logiciels (où tout ce qui n’est pas explicitement interdit est autorisé) et reflète la réalité selon laquelle les systèmes d’IA agentique peuvent découvrir et tenter d’exécuter des actions que leurs concepteurs n’avaient jamais envisagées.

La mise en œuvre pratique consiste à définir des limites d’action à trois niveaux :

  • Accès aux outils : quelles API, bases de données, services et environnements d’exécution de code l’agent peut invoquer

  • Contraintes sur les paramètres : quelles entrées l’agent peut transmettre à chaque outil (par exemple, restreindre un agent de requêtes sur base de données à des opérations en lecture seule sur des tables spécifiques)

  • Limites d’impact : seuils applicables à la portée d’une action donnée (par exemple, plafonner la valeur monétaire des transactions qu’un agent peut autoriser sans approbation humaine)

Un point opérationnel critique : les listes d’autorisation doivent être maintenues à mesure que le paysage des outils évolue. Lorsqu’un fournisseur de modèle de fondation déploie une mise à jour qui modifie le comportement du modèle, ou lorsque de nouveaux outils sont ajoutés à l’espace d’action potentiel d’un agent, la liste d’autorisation doit être revue et revalidée. Considérer les listes d’autorisation comme une configuration statique plutôt que comme des artefacts de gouvernance vivants est un mode de défaillance courant.

Couche 3 : logique d’escalade

Même au sein d’espaces d’action bornés, les agents rencontreront des situations qui dépassent leur compétence ou leur autorité. Une gouvernance efficace exige des parcours d’escalade prédéfinis — des règles claires sur les cas où un agent doit rendre la main à un humain plutôt que de continuer de manière autonome.

Les déclencheurs d’escalade devraient inclure :

  • Seuils de confiance : lorsque le niveau de confiance de l’agent dans l’action choisie tombe sous un seuil défini

  • Seuils d’impact : lorsqu’une action proposée dépasse les limites d’impact prédéfinies (valeur financière, nombre d’enregistrements concernés, irréversibilité)

  • Détection d’anomalies : lorsque le comportement de l’agent s’écarte des schémas attendus

  • Frontières de domaine : lorsque l’agent rencontre une tâche ou un domaine hors de son périmètre défini

  • Conditions d’échec : lorsqu’une invocation d’outil échoue ou renvoie des résultats inattendus

La conception des mécanismes d’escalade est aussi importante que les déclencheurs eux-mêmes. L’escalade doit se faire sans friction pour l’agent (elle ne devrait pas être « incitée » à l’éviter par des schémas de conception qui la pénalisent lorsqu’elle s’y soumet) et être exploitable pour l’humain (l’escalade doit inclure suffisamment de contexte pour permettre à l’humain de prendre une décision éclairée sans reconstituer toute la chaîne de raisonnement de l’agent).

Couche 4 : traçabilité et pistes d’audit

Les exigences réglementaires du règlement européen sur l’IA (article 12 pour les systèmes à haut risque) et la réponse opérationnelle aux incidents exigent toutes deux une journalisation exhaustive de l’activité des agents.[14] Pour les systèmes agentiques, cela signifie capturer non seulement les entrées et les sorties, mais aussi l’intégralité de la chaîne de raisonnement, les invocations d’outils, les résultats intermédiaires et les décisions à chaque étape.

Une piste d’audit efficace pour l’IA agentique devrait consigner :

  • L’objectif ou l’instruction initiale fournie à l’agent

  • Chaque étape de raisonnement et la justification de la sélection d’une action

  • Toute invocation d’outil, y compris l’outil appelé, les paramètres transmis et la réponse reçue

  • Les actions réalisées et leurs résultats

  • Les événements d’escalade et les interventions humaines

  • Les changements d’état de l’environnement résultant des actions de l’agent

  • Les horodatages et identifiants de session reliant les événements associés

Ces journaux remplissent plusieurs objectifs : l’enquête post-incident, la conformité réglementaire, l’amélioration continue des contrôles de gouvernance et l’attribution des responsabilités en cas de problème. Ils doivent être immuables, horodatés et stockés indépendamment du système d’agent lui-même afin d’éviter toute altération.

Couche 5 : surveillance continue

L’évaluation à un instant donné — évaluer un agent avant son déploiement et supposer qu’il restera conforme — est insuffisante pour des systèmes dont les capacités et le comportement peuvent évoluer dynamiquement. La gouvernance de l’IA agentique exige une surveillance continue sur plusieurs dimensions :

  • Surveillance de la performance : les résultats de l’agent atteignent-ils les seuils de qualité et de précision ?

  • Surveillance comportementale : le comportement de l’agent demeure-t-il conforme aux schémas attendus ? La répartition des actions évolue-t-elle dans le temps ?

  • Surveillance de la conformité : les actions de l’agent restent-elles dans l’espace d’action autorisé ? Les protocoles d’escalade sont-ils respectés ?

  • Surveillance de l’équité : pour les agents qui prennent des décisions concernant des individus ou les influencent, les résultats sont-ils équitables au regard des caractéristiques protégées ?

  • Surveillance de la sécurité : l’agent fait-il l’objet d’entrées adversariales, de tentatives d’injection de prompt ou d’autres manipulations ?

La surveillance doit alimenter les contrôles de gouvernance. Lorsque la surveillance détecte une anomalie — une action en dehors de l’ensemble autorisé, une évolution des distributions de résultats, un schéma suggérant une manipulation adversariale — la réponse doit être automatisée dans la mesure du possible (mise en pause de l’agent, déclenchement de l’escalade) et documentée pour examen humain.

Qui est responsable lorsqu’un agent agit ?

L’un des aspects les plus difficiles de la gouvernance de l’IA agentique est la fragmentation des responsabilités entre plusieurs acteurs. Un déploiement d’agent d’entreprise typique implique au moins quatre parties : le fournisseur du modèle de fondation (OpenAI, Anthropic, Google, Meta ou d’autres) ; le cadre d’agents ou la couche d’orchestration (qui peut être une plateforme tierce ou développée en interne) ; l’organisation déployante ; et les fournisseurs d’outils et d’API que l’agent invoque à l’exécution.

Le règlement européen sur l’IA répartit les obligations entre fournisseurs et déployeurs, certaines dispositions visant également les importateurs et les distributeurs.[15] Mais cette dichotomie ne se transpose pas proprement à la chaîne de valeur agentique. Qui est le « fournisseur » d’un agent qui associe un modèle de fondation tiers à une couche d’orchestration interne appelant des API externes ? L’article 25 traite des situations dans lesquelles des tiers modifient ou réaffectent des systèmes d’IA, pouvant potentiellement devenir eux-mêmes fournisseurs, mais les frontières demeurent floues pour les systèmes composés dynamiquement.[16]

Cette fragmentation crée également un risque de chaîne d’approvisionnement des modèles de fondation que de nombreuses organisations sous-estiment. Lorsqu’un fournisseur de modèle publie une mise à jour — nouvelle version du modèle, filtres de sécurité modifiés, schémas de comportement altérés — les contrôles de gouvernance validés sur la version précédente peuvent ne plus tenir. Les listes d’autorisation des actions, les seuils d’escalade et les évaluations de conformité reposent tous sur une base de comportement particulière du modèle. Une mise à jour silencieuse du modèle peut invalider ces hypothèses sans aucun changement du côté du déployeur.

Une gouvernance pragmatique doit tenir compte de cette fragmentation. Les organisations qui déploient de l’IA agentique devraient :

  • Cartographier l’ensemble de la chaîne de valeur pour chaque déploiement d’agent, en identifiant chaque acteur et ses responsabilités de gouvernance

  • Établir des arrangements contractuels avec les fournisseurs d’outils et d’API couvrant le traitement des données, la responsabilité et la réponse aux incidents

  • Maintenir une structure claire de responsabilité interne — qui possède chaque déploiement d’agent, qui est chargé de la surveillance et qui a le pouvoir d’intervenir ou d’arrêter le système

  • Mettre en œuvre des processus de verrouillage des versions et de gestion du changement pour les modèles de fondation, avec des déclencheurs de revalidation lorsque les fournisseurs publient des mises à jour

  • Documenter la répartition des responsabilités d’une manière qui résisterait à un audit réglementaire

Réponse aux incidents pour l’IA agentique

La gouvernance ne consiste pas seulement à prévenir les défaillances ; elle consiste aussi à réagir efficacement lorsqu’elles surviennent. Les systèmes d’IA agentique nécessitent des procédures de réponse aux incidents qui tiennent compte de leur nature autonome et multi-étapes.

Un plan de réponse aux incidents pour l’IA agentique devrait inclure :

  • Coupe-circuits d’urgence : la capacité d’interrompre immédiatement l’exécution d’un agent, de révoquer son accès aux outils et d’empêcher toute action supplémentaire. Cette capacité doit être techniquement fiable (sans dépendre de la coopération de l’agent) et accessible au personnel désigné en quelques secondes

  • Procédures de retour arrière : lorsque cela est possible, des procédures prédéfinies pour annuler les actions effectuées par un agent. Toutes les actions ne sont pas réversibles, ce qui rend la piste d’audit et les limites d’impact décrites ci-dessus essentielles pour réduire la zone d’impact

  • Obligations de notification : dans les secteurs réglementés, certaines défaillances d’agents peuvent déclencher des obligations de signalement. Dans les services financiers, les transactions non autorisées peuvent nécessiter une notification réglementaire dans un délai de quelques heures. Au titre du règlement européen sur l’IA, les incidents graves impliquant des systèmes d’IA à haut risque doivent être signalés aux autorités de surveillance du marché

  • Analyse des causes profondes : l’enquête post-incident doit retracer l’intégralité de la chaîne de raisonnement, de l’objectif initial à chaque invocation d’outil et à chaque décision jusqu’au point de défaillance, en s’appuyant sur la piste d’audit capturée par la couche 4

La planification de la réponse aux incidents doit être réalisée avant le déploiement, et non après la première défaillance. Des exercices de simulation qui reproduisent des défaillances d’agents — une frontière d’action franchie, une escalade échouée, une réponse d’outil compromise — aident les équipes à développer les bons réflexes pour réagir efficacement sous pression.

Opérationnaliser la gouvernance de l’IA agentique

Les cadres de gouvernance n’ont de valeur que s’ils peuvent être opérationnalisés — mis en œuvre en pratique sans créer une telle friction qu’ils empêchent l’innovation que les agents sont censés permettre. Plusieurs principes aident à combler l’écart entre le cadre et la pratique.

Intégrer la gouvernance dans le cycle de vie de l’agent

La gouvernance ne doit pas constituer un chantier distinct, parallèle au développement et au déploiement des agents. Elle doit être intégrée au pipeline de développement — classification de l’autonomie dès la phase de conception, liste d’autorisation des actions pendant le développement, tests de logique d’escalade avant le déploiement, surveillance continue en production. Cela s’apparente au mouvement shift-left en matière de sécurité : une gouvernance intégrée dès l’origine, et non ajoutée après coup.

Automatiser les contrôles de gouvernance

Les processus manuels de gouvernance ne peuvent pas suivre le rythme d’agents qui opèrent à la vitesse de la machine. La liste d’autorisation des actions doit être appliquée de manière programmatique, et non au moyen de documents de politique interne. Les déclencheurs d’escalade doivent se lancer automatiquement, et non dépendre de la surveillance humaine des journaux. Les contrôles de conformité doivent s’exécuter comme des points de contrôle automatisés dans les pipelines CI/CD, en fournissant aux équipes d’ingénierie des signaux clairs de réussite ou d’échec plutôt que des formulaires de conformité à remplir.

Intégrer la gouvernance à l’inventaire d’IA

Chaque système d’IA agentique devrait être enregistré dans un inventaire d’IA centralisé qui consigne sa classification de l’autonomie, son espace d’action autorisé, ses protocoles d’escalade, sa configuration de surveillance, l’attribution des responsabilités et la version du modèle de fondation. Cet inventaire constitue le socle du programme de gouvernance — sans lui, une organisation ne peut pas répondre à des questions élémentaires sur les agents qu’elle a déployés, ce qu’ils sont autorisés à faire et qui en est responsable.

Séquencer la mise en œuvre de manière pragmatique

Les organisations qui déploient des dizaines d’agents ne peuvent pas mettre en œuvre simultanément les cinq couches de gouvernance sur chaque déploiement. Une approche pragmatique de séquencement :

  1. Commencez par l’inventaire. On ne peut pas gouverner ce que l’on ne voit pas. Recensez chaque déploiement d’agent, y compris les déploiements parallèles non officiels que certaines équipes auraient mis en place de manière informelle.

  2. Classez les niveaux d’autonomie. Rattachez chaque agent à un niveau. Cela détermine la proportionnalité de chaque contrôle ultérieur.

  3. Mettez d’abord en œuvre la liste d’autorisation des actions pour les agents de niveaux 3 et 4. Ce sont eux qui présentent le plus grand risque et qui bénéficient le plus d’espaces d’action bornés.

  4. Construisez les pistes d’audit dès le premier jour. La journalisation est le contrôle le moins coûteux à mettre en place tôt et le plus coûteux à adapter a posteriori.

  5. Ajoutez la surveillance continue à mesure que les déploiements mûrissent. Commencez par la surveillance de conformité (l’agent respecte-t-il sa liste d’autorisation ?) puis étendez-la progressivement à la surveillance comportementale et à celle de l’équité.

Considérer la gouvernance comme un avantage concurrentiel

Les organisations qui considèrent la gouvernance uniquement comme un coût de conformité y investiront insuffisamment et susciteront du ressentiment parmi les équipes d’ingénierie. Le meilleur cadre consiste à voir la gouvernance comme une condition du passage à l’échelle. Sans contrôles systématiques, les déploiements d’agents seront limités à des cas d’usage à faible risque et faible valeur, car l’organisation ne pourra pas démontrer une supervision adéquate pour des usages plus ambitieux. C’est la gouvernance qui permet à une entreprise de passer de programmes pilotes prudents à des déploiements en production ayant un véritable impact commercial.

Quelle est la prochaine étape de la réglementation de l’IA agentique

Le paysage de la gouvernance de l’IA agentique évoluera rapidement au cours des deux prochaines années. Le CEN et le CENELEC élaborent des normes harmonisées au titre du règlement européen sur l’IA par l’intermédiaire du comité technique conjoint 21, dont le mandat a été modifié en juin 2025 afin de refléter l’accélération du programme de normalisation.[17] Ces normes devront préciser à quoi ressemble une supervision humaine proportionnée pour des systèmes hautement autonomes — espaces d’action bornés, points de contrôle structurés, pistes d’audit et mécanismes d’intervention — sans exiger la présence d’un humain dans la boucle à chaque étape.

La Commission européenne dispose du pouvoir de mettre à jour la liste des cas d’usage à haut risque figurant à l’annexe III au moyen d’actes délégués à mesure que des risques spécifiques à l’IA agentique apparaissent, sans qu’une modification législative complète soit nécessaire.[18] Les orientations de la Commission peuvent également clarifier la manière dont le cadre fournisseur-déployeur s’applique aux chaînes de valeur agentiques et dans quels cas l’invocation d’outils à l’exécution constitue une « modification substantielle » au sens de l’article 3(23). Les codes de bonnes pratiques au titre de l’article 56 offrent un autre levier, en traitant les risques spécifiques aux agents au niveau des modèles GPAI — fonctionnalités de contrôlabilité, journalisation de l’usage des outils et contraintes sur l’espace d’action.[19]

Des groupes sectoriels, dont l’IAPP et l’OCDE, travaillent activement à des orientations de gouvernance pour l’IA autonome.[20] L’ISO/IEC JTC 1/SC 42 continue d’étendre la série 42000 des normes relatives à l’IA, et il ne serait pas surprenant de voir émerger des travaux spécifiques à l’IA agentique à mesure que le paysage du déploiement mûrit.

Les organisations qui attendront ces normes et ces orientations avant d’agir se retrouveront à rétrofiter de la gouvernance dans des déploiements d’agents qui n’ont jamais été conçus pour cela — un exercice coûteux et perturbateur. L’approche la plus prudente consiste à construire dès maintenant l’infrastructure de gouvernance, puis à l’adapter à mesure que les exigences réglementaires et normatives se précisent.

Le défi de gouverner l’IA agentique est réel, mais il n’est pas sans précédent. Les entreprises ont déjà gouverné d’autres systèmes complexes, autonomes et à haut risque — du trading algorithmique aux véhicules autonomes en passant par l’automatisation robotisée des processus. Les principes sont les mêmes : classer le risque, contraindre l’action, exiger l’escalade, maintenir la traçabilité et surveiller en continu. Ce qui est nouveau, c’est la vitesse à laquelle l’IA agentique est déployée et l’étendue des fonctions d’entreprise qu’elle touche.

Mettre en œuvre ces cinq couches de gouvernance sur des dizaines de déploiements d’agents, chacun avec des niveaux d’autonomie, des configurations d’accès aux outils et des obligations réglementaires différents, relève autant d’un problème d’infrastructure que d’un enjeu de politique. Chez Enzai, la construction de cette infrastructure — de la classification de l’autonomie et de la liste d’autorisation des actions jusqu’à la surveillance continue et la conformité réglementaire au règlement européen sur l’IA, à ISO 42001 et au NIST AI RMF — est précisément le défi que notre plateforme est conçue pour relever. Pour en savoir plus, réserver une démonstration.

Enzai est la plateforme de référence de gouvernance de l’IA d’entreprise, conçue spécialement pour aider les organisations à passer d’une politique abstraite à une supervision opérationnelle. Notre plateforme de gestion des risques liés à l’IA fournit l’infrastructure spécialisée nécessaire pour gérer la gouvernance de l’IA agentique, maintenir un inventaire d’IA complet et garantir la conformité au règlement européen sur l’IA. En automatisant des workflows complexes, Enzai permet aux entreprises de déployer l’IA à grande échelle avec confiance, tout en restant alignées sur des normes mondiales telles que ISO 42001 et NIST.

Références

[1] Gartner, « Agentic AI: The Next Frontier of Enterprise AI », octobre 2024. Gartner prévoyait que les capacités d’IA agentique seraient présentes dans 33 % des applications logicielles d’entreprise d’ici 2028.

[2] Règlement (UE) 2024/1689 du Parlement européen et du Conseil, article 3(1). Journal officiel de l’Union européenne, série L, 12 juillet 2024.

[3] Les orientations interprétatives de la Commission européenne sur la définition d’un système d’IA (publiées en 2025) fournissent un contexte supplémentaire, mais n’abordent pas spécifiquement la décomposition en sous-objectifs émergents dans les systèmes agentiques.

[4] Règlement (UE) 2024/1689, articles 113-114 (entrée en vigueur et dates d’application).

[5] Règlement (UE) 2024/1689, chapitre III, section 2, articles 9-15.

[6] Pour une analyse détaillée de ces tensions opérationnelles, voir Enzai, « Le règlement européen sur l’IA se plie. Il n’a pas besoin de se rompre », mars 2026.

[7] Règlement (UE) 2024/1689, chapitre V, articles 51-56 (obligations des fournisseurs de modèles GPAI).

[8] ISO/IEC 42001:2023, Technologies de l’information - Intelligence artificielle - Système de management. Organisation internationale de normalisation, décembre 2023.

[9] NIST, Cadre de gestion des risques liés à l’intelligence artificielle (AI RMF 1.0), NIST AI 100-1, janvier 2023.

[10] NIST, Cadre de gestion des risques liés à l’intelligence artificielle : profil de l’intelligence artificielle générative, NIST AI 600-1, juillet 2024.

[11] OCDE, « Cadre de l’OCDE pour la classification des systèmes d’IA », OECD Digital Economy Papers n° 323, février 2022. Les Principes de l’OCDE sur l’IA ont été mis à jour en mai 2024.

[12] Colorado SB 24-205, relatif à la protection des consommateurs en matière d’intelligence artificielle, promulgué en mai 2024. Date d’entrée en vigueur initiale : 1er février 2026 ; sous réserve d’amendements législatifs en cours.

[13] Board of Governors of the Federal Reserve System, lettre SR 11-7, « Supervisory Guidance on Model Risk Management », avril 2011 ; Office of the Comptroller of the Currency, OCC 2011-12.

[14] Règlement (UE) 2024/1689, article 12 (tenue de registres / journalisation automatique pour les systèmes d’IA à haut risque).

[15] Règlement (UE) 2024/1689, articles 16 (obligations des fournisseurs) et 26 (obligations des déployeurs).

[16] Règlement (UE) 2024/1689, article 25 (obligations des autres parties tout au long de la chaîne de valeur de l’IA).

[17] Demande de normalisation de la Commission européenne M/593 adressée au CEN et au CENELEC, telle que modifiée en juin 2025 ; programme de travail du JTC 21 CEN-CENELEC.

[18] Règlement (UE) 2024/1689, article 7 (modifications de l’annexe III).

[19] Règlement (UE) 2024/1689, article 56 (codes de bonnes pratiques pour les modèles GPAI).

[20] IAPP AI Governance Center ; observatoire des politiques d’IA de l’OCDE, oecd.ai ; programme de travail ISO/IEC JTC 1/SC 42.

Découvrez davantage

Découvrez davantage

Rejoignez notre bulletin d'information

En vous inscrivant, vous acceptez la Politique de Confidentialité d'Enzai

Rejoignez notre bulletin d'information

En vous inscrivant, vous acceptez la Politique de Confidentialité d'Enzai

Rejoignez notre bulletin d'information

En vous inscrivant, vous acceptez la Politique de Confidentialité d'Enzai

Rejoignez notre bulletin d'information

En vous inscrivant, vous acceptez la Politique de Confidentialité d'Enzai

Conformité Intégrée Dès la Conception

Conformité Intégrée Dès la Conception

ISO 27001

Enzai est certifiée ISO 27001, et lest depuis 2023. Nous nous engageons à réaliser des audits annuels effectués par NQA et collaborons étroitement avec nos partenaires consultants en sécurité, Instil, afin de mettre à jour et de renforcer en continu notre posture de sécurité.

RGPD

ISO 27001

Enzai est certifiée ISO 27001, et lest depuis 2023. Nous nous engageons à réaliser des audits annuels effectués par NQA et collaborons étroitement avec nos partenaires consultants en sécurité, Instil, afin de mettre à jour et de renforcer en continu notre posture de sécurité.

RGPD

Gouvernance de l'IA

Gouvernance de l'IA

Infrastructure

Infrastructure

conçu pour la Confiance.

conçu pour la Confiance.

Donnez à votre organisation les moyens d'adopter, de gérer et de surveiller l'IA avec une confiance de niveau entreprise. Conçu pour les organisations réglementées opérant à grande échelle.

Connectez sans effort vos systèmes existants, vos politiques et vos flux de travail d'IA — le tout sur une plateforme unifiée.

Connectez sans effort vos systèmes existants, vos politiques et vos flux de travail d'IA — le tout sur une plateforme unifiée.