Gérer un agent d'intelligence artificielle manuellement est aisé. Mais qu'en est-il de dix, cent ou mille ?

La gouvernance de l'IA basée sur un modèle statique part du principe que l'IA fournit une réponse et qu'un humain décide de l'action à entreprendre. L'IA agentique retire cet humain de la boucle et permet au système d'agir. Par conséquent, quatre éléments changent :

• La décomposition des risques est différente. Le risque lié à un modèle statique s'évalue par modèle (ce modèle produit X avec un niveau de confiance Y). Le risque lié à un agent s'évalue par action × par contexte : un même agent faisant appel au même outil peut s'avérer sûr de lui dans un contexte donné et être à l'origine d'une faille de sécurité dans un autre.

  
  

• La surveillance doit être préventive et non réactive. Lire le résultat après coup s'avère inutile lorsque l'agent a déjà envoyé l'e-mail, validé le code ou remboursé le client. Il s'agit de limiter les actions de l'agent, et non de critiquer ce qu'il a déjà fait.

  
  

• La nature de l'audit change. L'audit d'un modèle statique pose la question : « Qu'est-ce que le modèle a produit, et était-ce correct ? ». L'audit d'un agent pose la question : « Qu'a fait l'agent, qu'a-t-il tenté de faire, qu'est-ce qui a été bloqué et qu'est-ce qui a été escaladé ? ».

  
  

• Le modèle de défaillance est récursif et non ponctuel. Les systèmes multi-agents échouent en boucle : l'agent A appelle l'agent B, qui appelle à son tour l'agent A. Les cadres de modèles statiques ne modélisent pas ces modes de défaillance.