Risque de queue
Possibilité de résultats rares et extrêmes dans le comportement ou la prise de décisions de l'IA qui dépassent les attentes normales et nécessitent une planification d'atténuation spéciale.
Définition
Se concentre sur les événements à faible probabilité mais à fort impact, tels que les défaillances catastrophiques des modèles, les exploits contradictoires ou les comportements émergents dans des systèmes complexes. La gouvernance en matière de gestion des risques extrêmes comprend des modèles de simulation de crise sur des scénarios extrêmes, la définition de plans d'urgence (kill switches, modes de sécurité) et le maintien de réserves (financières, opérationnelles) pour absorber les chocs. Les mesures de risque (par exemple, Value at Risk) sont étendues pour couvrir les contextes décisionnels pilotés par l'IA.
Exemple concret
Un service d'inspection par drone autonome simule des modes de défaillance rares (usurpation du GPS, conditions météorologiques extrêmes) et vérifie que le système atterrit en toute sécurité au lieu de poursuivre un vol instable. Le plan de gestion des risques liés à la queue de l'entreprise comprend des procédures de mise à la terre d'urgence et des liaisons de communication redondantes afin de minimiser les dommages potentiels.
.svg)
