Suivi des fluctuations des sorties des modèles d'IA ou des indicateurs de performance au fil du temps pour détecter les dérives et en déduire une éventuelle dégradation ou un risque.
Implique le calcul des variances statistiques des indicateurs clés (distributions de prédiction, importances des caractéristiques, scores de performance) et leur comparaison à des références glissantes. Des écarts significatifs déclenchent des alertes pour une investigation approfondie. La gouvernance définit des plages de variance acceptables, des fréquences de surveillance et des procédures de réponse automatisées (contrôles du pipeline de données, réentraînement du modèle) afin de maintenir la stabilité et la fiabilité du modèle.
Une IA de publicité en ligne suit la variance hebdomadaire des distributions de taux de clics parmi les segments d’utilisateurs. Lorsque la variance dépasse deux fois l’écart-type historique, une alerte invite l’équipe de la flotte de données à vérifier les changements récents de code ou de données, empêchant ainsi une dérive non détectée d’affecter les performances des campagnes.
