Analyse du pire des cas
Évaluer les défaillances ou les abus potentiels les plus extrêmes d'un système d'IA afin de contribuer à une atténuation des risques robuste et à une planification d'urgence.
Définition
Méthodologie de tests de résistance dans laquelle les systèmes sont soumis à des scénarios théoriques ou simulés d'impact maximal (attaques contradictoires, défaillances en cascade, violations réglementaires) afin de quantifier les pertes potentielles (financières, de réputation, de sécurité) et d'élaborer des plans d'urgence. La gouvernance impose aux applications d'IA à haut risque de faire l'objet d'une analyse du pire scénario chaque année, avec des guides de réponse documentés et un examen exécutif des résultats.
Exemple concret
Un fournisseur d'IA du secteur de la santé réalise une analyse des pires scénarios sur son chatbot de triage : il simule des pannes de serveur simultanées, modélise des classifications erronées des symptômes critiques et des scénarios de violation de données pour estimer les dommages causés aux patients et développer des protocoles de réponse, notamment l'activation de la hotline de secours et des procédures de déploiement de correctifs d'urgence.
.svg)
