Évaluer les échecs ou abus potentiels les plus extrêmes d'un système d'IA afin d'informer une atténuation des risques et une planification de contingence robustes.
Une méthodologie de tests de résistance dans laquelle les systèmes sont soumis à des scénarios théoriques ou simulés à impact maximal — attaques adversariales, défaillances en cascade, violations réglementaires — afin de quantifier les pertes potentielles (financières, réputationnelles, liées à la sécurité) et d’élaborer des plans de contingence. La gouvernance impose que les applications d’IA à haut risque fassent l’objet d’une analyse du pire scénario chaque année, avec des guides de réponse documentés et un examen des conclusions par la direction exécutive.
Un fournisseur d’IA pour le secteur de la santé mène une analyse du pire scénario sur son chatbot de triageu007f: il simule des défaillances simultanées de serveurs, des erreurs de classification du modèle concernant des symptômes critiques et des scénarios de violation de données, afin d’estimer les préjudices potentiels pour les patients et d’élaborer des protocoles de réponse, y compris l’activation d’une ligne d’assistance de secours et des procédures de déploiement de correctifs d’urgence.
