AIシステムの最も重大な潜在的な故障や悪用を評価し、堅牢なリスク緩和策と非常時対応計画に役立てる。
システムに対して、理論上またはシミュレーションによる最大影響シナリオ（敵対的攻撃、連鎖的障害、規制違反）を適用し、潜在的損失（財務、評判、安全性）を定量化するとともに、緊急時対応計画を策定するストレステスト手法です。ガバナンス上の要件として、高リスクAIアプリケーションは年次でワーストケース分析を実施し、対応プレイブックを文書化したうえで、結果について経営層のレビューを受けることが義務付けられます。
あるヘルスケアAIベンダーは、自社のトリアージ・チャットボットに対して最悪事態を想定した分析を実施しています。具体的には、サーバーの同時障害、重篤な症状に関するモデルの誤分類、ならびにデータ侵害のシナリオをシミュレーションし、患者への危害を見積もるとともに、フォールバック・ホットラインの起動や緊急パッチ展開手順を含む対応プロトコルを策定します。
