Glossar
Aktualisiert
Eine Stresstest-Methodik, bei der Systeme theoretischen oder simulierten Szenarien mit maximaler Auswirkung ausgesetzt werden (etwa Cyberangriffen, kaskadierenden Systemausfällen oder Compliance-Verstößen), um potenzielle finanzielle Schäden, Reputationsverluste sowie Sicherheitsrisiken zu quantifizieren und entsprechende Notfallpläne zu entwickeln. Die Governance-Richtlinien schreiben vor, dass hochriskante KI-Anwendungen jährlich einer solchen Worst-Case-Analyse unterzogen werden müssen, inklusive dokumentierter Reaktionsleitfäden und einer Überprüfung der Ergebnisse durch die Geschäftsführung.
Beispiel
Ein Anbieter von KI-Lösungen im Gesundheitswesen führt Worst-Case-Analysen für seinen Triage-Chatbot durch: Simuliert werden gleichzeitige Serverausfälle, Fehlklassifizierungen kritischer Symptome durch das Modell sowie Datenleck-Szenarien, um potenzielle Patientenschäden abzuschätzen und Reaktionsprotokolle zu entwickeln. Diese umfassen unter anderem die Aktivierung einer Backup-Hotline und Verfahren zur Bereitstellung von Notfall-Patches.