Glossar
Aktualisiert
Was ist Risikomanagement für KI?
Risikomanagement für KI ist der Zyklus, mit dem eine Organisation entscheidet, welche KI-Risiken sie akzeptiert, mindert, teilt oder vermeidet. Er gilt für jedes eingesetzte KI-System, ob selbst entwickelt, bei einem Drittanbieter gekauft oder als neue Funktion in einem vorhandenen Tool hinzugekommen. Er läuft über die gesamte Lebensdauer des Systems und nicht nur einmal vor dem Start, denn KI verändert sich im Einsatz: Modelle werden aktualisiert, Daten driften, und Menschen finden neue Verwendungen für ein Tool.
Welche Schritte gehören dazu?
Die meisten Programme folgen derselben Abfolge. Erstens erfassen Sie, was Sie haben: ein KI-Inventar mit einem Verantwortlichen für jedes System. Zweitens stufen Sie jedes System nach Verwendung und Auswirkung ein, damit der Aufwand dort ansetzt, wo Schäden am wahrscheinlichsten sind. Drittens ermitteln Sie die Risiken dieser Verwendung, etwa falsche Ergebnisse, unfaire Behandlung, Datenabfluss, Sicherheitsangriffe und den Ausfall von Drittanbietern.
Viertens bewerten Sie jedes Risiko vor allen Kontrollen nach Eintrittswahrscheinlichkeit und Auswirkung. Das ergibt die Bewertung des inhärenten Risikos. Fünftens wählen Sie die Risikobehandlung: Kontrollen, menschliche Prüfung, Nutzungsbeschränkungen oder den Verzicht auf das Vorhaben. Sechstens bewerten Sie das Risiko erneut, um das Restrisiko zu ermitteln, und lassen dieses von einer befugten Person akzeptieren. Zuletzt überwachen Sie das System und wiederholen die Bewertung, sobald sich etwas Wesentliches ändert.
Welche Frameworks decken das Risikomanagement für KI ab?
Das NIST AI Risk Management Framework, veröffentlicht im Januar 2023, gliedert die Arbeit in vier Funktionen: GOVERN, MAP, MEASURE und MANAGE. Das zugehörige Generative AI Profile (NIST AI 600-1, Juli 2024) beschreibt 12 Risiken, die generative KI hervorruft oder verschärft. ISO/IEC 23894 bietet einen Leitfaden zum Risikomanagement für KI auf Grundlage von ISO 31000, und ISO/IEC 42001 verlangt KI-Risikobewertung, Risikobehandlung und eine Folgenabschätzung für KI-Systeme als Teil eines zertifizierbaren Managementsystems.
Im EU AI Act verpflichtet Artikel 9 Anbieter von Hochrisiko-KI-Systemen, über den gesamten Lebenszyklus des Systems ein Risikomanagementsystem zu betreiben. Für die in Anhang III aufgeführten Verwendungen gilt diese Pflicht ab dem 2. Dezember 2027.
Wie unterscheidet es sich vom Modellrisikomanagement?
Modellrisikomanagement stammt aus dem Bankwesen und fragt, ob ein Modell fundiert und für seinen Zweck geeignet ist. Risikomanagement für KI umfasst das und mehr: KI von Drittanbietern und eingebettete KI, Tools, die Mitarbeitende ohne Freigabe nutzen, Agenten, die Aktionen ausführen, und Pflichten aus mehreren Gesetzen zugleich. In den USA nimmt SR 26-2, das am 17. April 2026 SR 11-7 abgelöst hat, generative und agentische KI von seinem Anwendungsbereich aus. Banken brauchen für diese Systeme also einen anderen Governance-Ansatz.
Was macht Risikomanagement für KI wirksam?
Drei Dinge helfen. Jedes Risiko hat einen Verantwortlichen, der befugt ist, es zu akzeptieren. Alle Risiken stehen in einem gemeinsamen Register, damit Sicherheit, Datenschutz und Recht dasselbe Problem nicht dreimal unterschiedlich bewerten. Und jede Maßnahme ist mit Nachweisen belegt, sodass die Bewertung im Audit standhält.
In Enzai verfolgen Sie jede Maßnahme zur Risikominderung von „nicht begonnen“ bis „abgeschlossen“, mit angehängten Nachweisen und direkt neben der Bewertung des Risikos vor und nach der Behandlung. Mehr dazu unter KI-Risiko und Compliance.
Beispiel
Eine Regionalbank will mit einem großen Sprachmodell Antworten auf Kundenbeschwerden entwerfen. Sie erfasst das System in ihrem Inventar und stuft es als System mit Kundenkontakt und personenbezogenen Daten ein. Die Bewertung ergibt drei Hauptrisiken: falsche Aussagen über das Konto eines Kunden, personenbezogene Daten, die beim Modellanbieter landen, und Antworten, die gegen Verhaltensregeln verstoßen. Alle drei werden vor Kontrollen als hoch bewertet. Die Bank ergänzt eine menschliche Prüfung vor dem Versand jeder Antwort, eine Vertragsklausel, die dem Anbieter das Training mit ihren Daten untersagt, und eine monatliche Stichprobenprüfung versendeter Antworten. Die Restrisiken sinken auf mittel und niedrig, die Leitung des Beschwerdemanagements akzeptiert sie, und das System wird bei jedem Wechsel der Modellversion neu bewertet.