Zuletzt aktualisiert am:
Bewertung der extremsten potenziellen Fehlerquellen oder Missbrauchsszenarien eines KI-Systems zur fundierten Information einer robusten Risikominderung und Notfallplanung.
Eine Stresstest-Methodik, bei der Systeme theoretischen oder simulierten Szenarien mit maximaler Auswirkung ausgesetzt werden – wie etwa Cyberangriffen, kaskadierenden Systemausfällen oder Compliance-Verstößen –, um potenzielle finanzielle Schäden, Reputationsverluste sowie Sicherheitsrisiken zu quantifizieren und entsprechende Notfallpläne zu entwickeln. Die Governance-Richtlinien schreiben vor, dass hochriskante KI-Anwendungen jährlich einer solchen Worst-Case-Analyse unterzogen werden müssen, inklusive dokumentierter Reaktionsleitfäden und einer Überprüfung der Ergebnisse durch die Geschäftsführung.
Praxisbeispiel:
Ein Anbieter von KI-Lösungen im Gesundheitswesen führt Worst-Case-Analysen für seinen Triage-Chatbot durch: Simuliert werden gleichzeitige Serverausfälle, Fehlklassifizierungen kritischer Symptome durch das Modell sowie Datenleck-Szenarien, um potenzielle Patientenschäden abzuschätzen und Reaktionsprotokolle zu entwickeln. Diese umfassen unter anderem die Aktivierung einer Backup-Hotline und Verfahren zur Bereitstellung von Notfall-Patches.
