Dernière mise à jour :
La surveillance de l'IA consiste en l'observation continue des systèmes d'intelligence artificielle en production afin de détecter toute dégradation, dérive, comportement anormal ou défaillance de contrôle. Elle englobe la performance des modèles, la distribution des données d'entrée et de sortie, les indicateurs d'équité, les coûts et la latence, ainsi que les actions entreprises par le système dans le cas des systèmes agentiels.
Que convient-il de surveiller ?
Quatre niveaux sont à distinguer, sachant que la plupart des programmes ne couvrent que le premier. La Performance suit la précision, les taux d'erreur et les résultats opérationnels pour lesquels le système a été conçu. Les Données suivent les flux d'entrée, en surveillant les dérives de distribution, les modifications de schéma et les ruptures de pipeline en amont, qui causent plus d'incidents que l'obsolescence des modèles. Le Comportement suit la production ou les actions du système, couvrant la qualité des résultats, les taux de refus et d'hallucination pour les systèmes génératifs, ainsi que les actions réellement entreprises par les agents. Le Contrôle vérifie que les dispositifs de gouvernance fonctionnent toujours : la réalisation des revues humaines, le déclenchement des escalades et l'exhaustivité de la journalisation.
Qu'est-ce que la dérive et quel type de dérive importe ?
La dérive est la divergence entre les conditions pour lesquelles un modèle a été conçu et les conditions dans lesquelles il fonctionne aujourd'hui. La dérive des données est une modification de la distribution des entrées, qui est simple à détecter car elle ne nécessite pas d'étiquetage des résultats. La dérive de concept est une modification de la relation sous-jacente entre les entrées et la réponse correcte, ce qui est plus complexe car cela ne peut être confirmé qu'une fois les résultats connus, et ces résultats n'apparaissent souvent que des mois plus tard dans les secteurs du crédit, de l'assurance et de la santé. L'approche pratique consiste à alerter sur la dérive des données en tant qu'indicateur avancé et à valider par rapport aux résultats sur un cycle plus long.
En quoi la surveillance diffère-t-elle pour les systèmes génératifs et agentiels ?
Les indicateurs de précision ne s'appliquent pas de la même manière. Un système génératif n'ayant pas de résultat unique correct, la surveillance s'oriente vers des évaluations par échantillonnage selon des critères définis, des vérifications de factualité par rapport aux sources, des taux de refus et de sécurité, ainsi que des retours d'expérience des utilisateurs. Pour les agents, la séquence importante est d'ordre comportemental : quels outils ont été sollicités, à quelle fréquence les seuils d'escalade ont été franchis, combien d'actions ont été annulées ou corrigées a posteriori, et si l'agent a tenté d'effectuer des opérations en dehors de son périmètre autorisé. Un taux croissant d'actions bloquées constitue un signal de gouvernance bien avant de devenir un incident de production.
Pourquoi les régulateurs s'en préoccupent-ils ?
La surveillance après déploiement est une obligation explicite et non une simple bonne pratique. L'IA Act de l'UE exige des fournisseurs de systèmes à haut risque qu'ils mettent en œuvre un système de surveillance post-commercialisation et signalent les incidents graves. Le NIST AI Risk Management Framework intègre la mesure continue dans ses fonctions de mesure et de gestion. La supervision des risques liés aux modèles exige depuis des années une surveillance continue des performances. Dans chaque cas, l'autorité de contrôle demande des preuves : ce qui a été surveillé, quels seuils ont été appliqués, ce qui s'est déclenché et quelles mesures ont été prises en conséquence.
Qu'est-ce qui garantit l'efficacité d'un programme de surveillance ?
Des seuils définis avant le déploiement et enregistrés dans le système, afin qu'une alerte ait une signification convenue. Une responsabilité attribuée à une personne désignée, et non à un rôle de garde tournant. Des alertes acheminées vers un intervenant capable d'agir, l'échec le plus courant étant un tableau de bord que personne ne consulte. Une couverture proportionnelle au niveau de risque, car surveiller chaque système de la même manière épuise les équipes et laisse les systèmes critiques sous-surveillés. Enfin, la conservation des données de surveillance elles-mêmes, car la preuve attendue par un auditeur est l'historique, et non l'état actuel du tableau de bord.
Exemple concret :
Un organisme de crédit surveille un modèle de décision de crédit selon trois cycles. Chaque jour, il vérifie la distribution des données d'entrée par rapport à la référence d'apprentissage et émet une alerte dès qu'une variable dévie au-delà d'un seuil convenu, ce qui permet de détecter en moins de vingt-quatre heures toute modification du format de fichier d'un bureau de crédit en amont. Chaque mois, il examine les taux d'approbation par caractéristique protégée au regard des seuils d'équité définis lors de l'octroi. Chaque trimestre, il valide les prédictions par rapport aux défauts de paiement réels à mesure que les résultats se concrétisent, ce qui constitue l'unique moyen de mettre en évidence une dérive de concept. Chaque seuil, alerte et mesure corrective est consigné dans l'inventaire du système ; ainsi, lorsque l'autorité de régulation demande comment l'établissement s'est assuré que le modèle restait adapté à l'usage prévu, la réponse repose sur un registre daté et non sur une simple affirmation.
