Worst-Case-Analyse

Bewertung der extremsten potenziellen Ausfälle oder Missbräuche eines KI-Systems als Grundlage für eine solide Risikominderung und Notfallplanung.

Definition

Eine Stresstestmethode, bei der Systeme theoretischen oder simulierten Szenarien mit maximaler Auswirkung ausgesetzt werden — gegnerische Angriffe, kaskadierende Ausfälle, regulatorische Verstöße —, um potenzielle Verluste (finanzielle Verluste, Reputation, Sicherheit) zu quantifizieren und Notfallpläne zu entwickeln. Die Unternehmensleitung schreibt vor, dass KI-Anwendungen mit hohem Risiko jährlich einer Worst-Case-Analyse unterzogen werden. Dazu gehören dokumentierte Antwortpläne und eine Überprüfung der Ergebnisse durch die Geschäftsleitung.

Real-World Example

Ein Anbieter von KI im Gesundheitswesen führt mit seinem Triage-Chatbot Worst-Case-Analysen durch: Sie simulieren gleichzeitige Serverausfälle, modellieren Fehlklassifizierungen kritischer Symptome und Szenarien von Datenschutzverletzungen, um den Schaden für Patienten abzuschätzen und Reaktionsprotokolle zu entwickeln, einschließlich der Aktivierung der Fallback-Hotline und Verfahren zur Bereitstellung von Notfall-Patches.