Glossar
Aktualisiert
Was zählt als KI-Risiko?
KI-Risiko umfasst jede Möglichkeit, dass ein KI-System Schaden verursacht: bei den Menschen, über die es entscheidet, bei denen, die es nutzen, oder bei der Organisation, die es betreibt. Wie andere Risiken hat es zwei Komponenten: wie wahrscheinlich der Schaden ist und wie gravierend er wäre. KI bringt einige Besonderheiten mit. Dasselbe System kann auf ähnliche Eingaben unterschiedlich antworten, es kann sich ändern, wenn sein Modell aktualisiert wird, und Menschen können es für Zwecke nutzen, die niemand vorgesehen hat.
Welche Arten von KI-Risiken gibt es?
Die meisten KI-Risiken lassen sich wenigen Gruppen zuordnen. Leistungsrisiken sind fehlerhafte Ausgaben, darunter überzeugend klingende Erfindungen, oft Halluzinationen genannt. Fairnessrisiken sind Ergebnisse, die Menschen aufgrund eines geschützten Merkmals benachteiligen, auch als KI-Bias bezeichnet. Datenschutzrisiken entstehen, wenn personenbezogene oder vertrauliche Daten über Trainingsdaten, Prompts oder Ausgaben offengelegt werden. Sicherheitsrisiken umfassen Angriffe wie Prompt Injection, Data Poisoning und Jailbreaks.
Drittanbieterrisiken entstehen, wenn ein Lieferant ein Modell, eine Vertragsbedingung oder eine Funktion ändert, ohne Sie zu informieren. Rechtliche Risiken sind Verwendungen, die gegen ein Gesetz verstoßen, etwa eine nach dem EU AI Act verbotene Praktik. Bei KI-Agenten kommt das Handlungsrisiko hinzu: Ein Agent tut mit dem ihm gewährten Zugriff etwas, das er nie tun sollte. Die OWASP Top 10 for Agentic Applications nennen die häufigsten Wege, auf denen das geschieht, und das Generative AI Profile des NIST beschreibt 12 Risikokategorien für generative KI, von Konfabulation und Datenschutz bis zu Informationssicherheit und geistigem Eigentum.
Wie wird KI-Risiko gemessen?
Die meisten Organisationen bewerten jedes Risiko auf einer Skala für Eintrittswahrscheinlichkeit und einer für Auswirkung, oft mit jeweils fünf Stufen, und fassen beides zu einer Gesamtbewertung zusammen. Sie bewerten zweimal: einmal vor allen Kontrollen (inhärentes Risiko) und einmal danach (Restrisiko). Die Differenz zeigt, was die Kontrollen wert sind. Manche Risiken lassen sich direkt messen, etwa Fehlerquoten oder Unterschiede in den Annahmequoten zwischen Gruppen. Diese Werte können Sie im Zeitverlauf als Schlüsselrisikoindikatoren (KRIs) verfolgen.
Ist KI-Risiko dasselbe wie eine Risikostufe?
Nein. Gesetze wie der EU AI Act teilen KI-Verwendungen in Stufen ein: verboten, hohes Risiko, nur Transparenzpflichten und minimales Risiko. Eine Stufe ist eine rechtliche Einordnung der Verwendung und bestimmt, welche Pflichten gelten. KI-Risiko ist die Wahrscheinlichkeit eines Schadens durch ein bestimmtes System in einem bestimmten Umfeld. Ein System mit minimalem Risiko im Sinne der Verordnung kann trotzdem ein ernstes Geschäftsrisiko bergen, etwa ein internes Tool, das vertrauliche Daten preisgibt, und ein Hochrisiko-KI-System kann gut kontrolliert sein. Sie brauchen beide Perspektiven. Unser Leitfaden zur Risikoklassifizierung nach dem EU AI Act erläutert die Stufen.
Wie Sie diese Risiken als Programm steuern, erfahren Sie unter Risikomanagement für KI. In Enzai ist jedes Risiko mit seinem KI-System verknüpft und wird vor und nach der Behandlung bewertet, in einem gemeinsamen Register für alle Teams. Mehr dazu unter KI-Risiko und Compliance.
Beispiel
Ein Händler setzt im Kundenservice den Chatbot eines Drittanbieters ein und bewertet bei der Prüfung drei Risiken. Der Chatbot könnte eine Erstattungsregelung erfinden, die das Unternehmen gar nicht anbietet: wahrscheinlich, mit mittlerer Auswirkung. Ein Kunde könnte ihn dazu bringen, die Bestellung eines anderen Kunden preiszugeben: unwahrscheinlich, mit hoher Auswirkung. Der Drittanbieter könnte ohne Ankündigung auf ein neues Modell umstellen: wahrscheinlich, mit mittlerer Auswirkung. Der Händler beschränkt den Chatbot auf seine veröffentlichten Richtlinienseiten, lässt ihn nur die eigenen Bestellungen des angemeldeten Kunden sehen und ergänzt eine Vertragsklausel, die eine Mitteilung bei Modellwechseln vorschreibt. Anschließend bewertet er die Restrisiken neu und überprüft sie jedes Quartal.