Dernière mise à jour :
Évaluer les défaillances ou les abus potentiels les plus extrêmes d'un système d'IA afin d'éclairer l'atténuation robuste des risques et la planification d'urgence.
Une méthodologie de tests de résistance dans laquelle les systèmes sont soumis à des scénarios théoriques ou simulés à impact maximal (attaques contradictoires, défaillances en cascade, violations réglementaires) afin de quantifier les pertes potentielles (financières, réputationnelles, de sécurité) et d'élaborer des plans d'urgence. La gouvernance exige que les applications d'IA à haut risque fassent l'objet d'une analyse du pire scénario chaque année, avec des guides de réponse documentés et une revue des résultats par la direction générale.
Exemple concret :
Un fournisseur d'IA pour le secteur de la santé réalise une analyse du pire scénario sur son chatbot de triage : il simule des pannes de serveurs simultanées, des erreurs de classification des symptômes critiques par le modèle, ainsi que des scénarios de violation de données afin d'estimer les préjudices potentiels pour les patients et d'élaborer des protocoles de réponse, incluant l'activation d'une ligne d'assistance d'urgence et des procédures de déploiement de correctifs de sécurité immédiats.
