Blog
•
12 Min. Lesezeit
Unternehmen steuern agentische KI, indem sie jeden Agenten registrieren, ihn nach Autonomie und Schadensradius einstufen, seine zulässigen Aktionen begrenzen, bei folgenreichen Entscheidungen einen Menschen einbinden und jeden Schritt protokollieren. Mit der Unternehmensgröße ändert sich der Grad der Formalisierung: bei 500 Beschäftigten eine benannte verantwortliche Person und ein Not-Aus, bei 10.000 drei Verteidigungslinien und eine unabhängige Validierung.
Warum reicht Governance aus der Ära der Modelle für agentische KI nicht aus?
Ein Modell liefert einen Score oder einen Textabschnitt, und ein Mensch entscheidet, was damit geschieht. Ein Agent erhält ein Ziel, plant eine Abfolge von Schritten, ruft Tools und APIs auf, liest die Ergebnisse und handelt erneut. Gegenstand der Governance ist damit eine Handlungsstrategie.
Fünf Eigenschaften richten den Schaden an. Die Planung ist nicht deterministisch: Zwei Durchläufe mit demselben Prompt können über dieselben Tools unterschiedliche Wege nehmen. Der Agent verfügt über Zugangsdaten, daher zählen seine Berechtigungen mehr als seine Genauigkeit. Er kann sich über eine lange Kette hinweg vom vorgegebenen Ziel entfernen, ohne dass ein einzelner Schritt falsch wirkt. Agenten rufen andere Agenten auf, sodass sich ein Fehler in einem Agenten fortpflanzt. Und das Basismodell kann sich durch ein Update des Anbieters ändern, wodurch die Tests des letzten Quartals ihre Gültigkeit verlieren.
Die OWASP Top 10 for Agentic Applications, am 9. Dezember 2025 von der Agentic Security Initiative des OWASP GenAI Security Project veröffentlicht, benennen die daraus entstehenden Fehlermodi mit den Codes ASI01 bis ASI10. Es handelt sich um ein anderes Dokument als die OWASP Agentic Skills Top 10.
Code | Bezeichnung |
|---|---|
ASI01 | Übernahme des Agentenziels |
ASI02 | Missbrauch von Tools |
ASI03 | Missbrauch von Identitäten und Berechtigungen |
ASI04 | Schwachstellen in der agentischen Lieferkette |
ASI05 | Unerwartete Codeausführung |
ASI06 | Vergiftung von Speicher und Kontext |
ASI07 | Unsichere Kommunikation zwischen Agenten |
ASI08 | Kaskadierende Fehler |
ASI09 | Ausnutzung des Vertrauens zwischen Mensch und Agent |
ASI10 | Abtrünnige Agenten |
Der Leitfaden von Enzai zur Governance für agentische KI beschreibt die fünf Kontrollebenen, die diesen Risiken begegnen. Dieser Beitrag fragt, wie viel davon ein Unternehmen einer bestimmten Größe braucht und in welcher Reihenfolge.
Welche Standards gelten heute für die Governance agentischer KI?
Die singapurische IMDA stellte das Model AI Governance Framework for Agentic AI am 22. Januar 2026 auf dem Weltwirtschaftsforum vor. Es gliedert seine Empfehlungen in vier Dimensionen: Risiken vorab bewerten und eingrenzen, Menschen wirksam in die Verantwortung nehmen, technische Kontrollen und Prozesse umsetzen sowie die Eigenverantwortung der Endnutzer ermöglichen. Zusammenfassungen von Anwaltskanzleien berichten von einem Update vom 20. Mai 2026, das Fallstudien, Risiken durch Multi-Agenten-Systeme und Agenten von Drittanbietern sowie Leitlinien zum Automatisierungsbias ergänzt, einschließlich der Überwachung menschlicher Übersteuerungsquoten. Der Glossareintrag von Enzai zum singapurischen Framework beschreibt seine Entstehungsgeschichte.
Der EU AI Act ist technologieneutral. Artikel 3 Nummer 1 definiert ein KI-System als ein System, das „für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist“. Ein Agent ist also ein KI-System, und sein Anwendungsfall bestimmt seine Risikoklasse. Die Pflichten für KI-Modelle mit allgemeinem Verwendungszweck nach Kapitel V gelten seit dem 2. August 2025. Der digitale Omnibus zur KI, Verordnung (EU) 2026/1744, ist am 27. Juli 2026 in Kraft getreten und hat die Pflichten für Hochrisiko-KI-Systeme nach Anhang III auf den 2. Dezember 2027 und die Pflichten nach Anhang I auf den 2. August 2028 verschoben. Die Übersicht von Enzai zu den geänderten Fristen zeigt, was unverändert bleibt.
Das NIST Generative AI Profile (NIST AI 600-1, Juli 2024) ordnet zwölf Risikokategorien den vier Funktionen des AI RMF zu. Autonome Agenten erwähnt es nur einmal, als Sicherheitsbedrohung. Nutzen Sie es daher als Grundlage, nicht als Framework für Agenten.
Wie sollte die Autonomiestufe die Kontrollen bestimmen?
Stufen Sie den Einsatz ein, nicht das Modell. Dasselbe Basismodell kann einen Schreibassistenten ebenso antreiben wie einen Agenten, der Geld bewegt.
Autonomiestufe | Was der Agent darf | Mindestkontrollen | Freigabe und Prüfung |
|---|---|---|---|
Assistierend | Daten lesen und Vorschläge machen; jede Aktion führt ein Mensch aus | Im Inventar mit benannter verantwortlicher Person erfasst; Protokollierung von Prompts und Ausgaben; Standardrichtlinie zur zulässigen KI-Nutzung | Freigabe durch die verantwortliche Person; jährliche Prüfung |
Überwacht | Aktionen mit geringen Folgen ausführen; alles Folgenreiche gibt ein Mensch vor der Ausführung frei | Positivliste für Tools und Parameter; definierte menschliche Prüfpunkte; Protokollierung jedes Tool-Aufrufs auf Sitzungsebene; dokumentiertes Stoppverfahren | Freigabe durch die Governance-Funktion; Prüfung bei jedem Wechsel des Basismodells und mindestens halbjährlich |
Begrenzt autonom | Innerhalb einer Positivliste ohne Einzelfreigabe handeln; bei Ausnahmen eskalieren | Wirkungsgrenzen (Wert, Anzahl der Datensätze, Umkehrbarkeit); Eskalationsauslöser; unabhängige Tests vor der Inbetriebnahme; unveränderliches Aktionsprotokoll; getesteter, innerhalb von Sekunden erreichbarer Kill-Switch; Überwachung der Aktionsverteilung und der Übersteuerungsquoten | Freigebende Person unabhängig vom Entwicklungsteam; vierteljährliche Prüfung; erneute Freigabe bei Änderung des Umfangs |
Vollständig autonom | Offene Aufgaben mit weitreichendem Tool-Zugriff | Alles oben Genannte, zusätzlich kontinuierliche Verhaltensüberwachung, Rekursionsgrenzen für Multi-Agenten-Systeme, ein eingeübter Incident-Response-Plan und eine schriftliche Begründung, warum eine niedrigere Stufe nicht ausreichte | Risikoausschuss oder vergleichbares Gremium; unabhängige Validierung; Sichtbarkeit auf Vorstandsebene |
Wie steuern Unternehmen mit 250 bis 1.000 Beschäftigten agentische KI?
Ein Unternehmen dieser Größe hat keine zweite Verteidigungslinie und sollte für Agenten auch keine aufbauen. Verhältnismäßige Governance bedeutet hier, fünf Dinge richtig zu machen.
Führen Sie ein zentrales Register aller Agenten, auch derjenigen, die in bereits bezahlten SaaS-Plattformen entstehen, mit verantwortlicher Person, Zweck, den Systemen, in die der Agent schreiben kann, und seiner Autonomiestufe. Etablieren Sie einen schlanken Antragsprozess: ein einseitiges Formular, das nach Datensensibilität, Autonomie und Umkehrbarkeit einstuft und von der für Risiko oder Sicherheit zuständigen Person geprüft wird. Benennen Sie für jeden Agenten eine verantwortliche Person, die für ihn Rede und Antwort stehen kann. Verlangen Sie für jede Aktion, die Geld ausgibt, einen Kundendatensatz ändert oder etwas nach außen sendet, die Freigabe durch einen Menschen, bis sich der Agent bewährt hat. Und definieren Sie einen Kill-Switch: wer den Agenten stoppen kann, wie und wie schnell, getestet vor der Inbetriebnahme.
Nicht erforderlich sind in dieser Größenordnung ein Modell der drei Verteidigungslinien, ein unabhängiges Validierungsteam oder ein Ausschuss. Ein Beispielszenario: Ein Softwareunternehmen mit 600 Beschäftigten und Agenten im Kundensupport, in den Finanzprozessen und in der Vertriebsrecherche kann dies mit einem Register, einem Formular und einer zweiwöchentlichen Prüfung umsetzen, verantwortet von der KI- oder Sicherheitsleitung.
Wie steuern Unternehmen mit 1.000 bis 10.000 Beschäftigten agentische KI?
Zwischen 1.000 und 10.000 Beschäftigten reicht das Register allein nicht mehr aus. Agenten entstehen in mehreren Teams, die nicht der für Governance verantwortlichen Person unterstehen, und mindestens einer davon berührt eine regulierte Entscheidung oder einen Kunden.
Der Antragsprozess wird verpflichtend. Ein Anwendungsfall geht erst in Produktion, wenn eine dokumentierte Freigabe vorliegt, die festhält, wer ihn geprüft hat, welche Nachweise vorlagen und warum zugestimmt wurde. Der Leitfaden zum Antragsprozess beschreibt die Gestaltung. Der Workflow für Anwendungsfälle und Initiativen von Enzai stuft Einreichungen nach Art des Anwendungsfalls, Datensensibilität und Autonomie ein und protokolliert jede Freigabe oder Ablehnung mit Prüfenden, Nachweisen und Begründung.
Die Risikoklassifizierung hängt an zwei Variablen: der Autonomiestufe aus der Tabelle oben und dem Schadensradius, also dem, was der Agent erreichen kann und wie umkehrbar seine Aktionen sind. Ein Rechercheagent mit reinem Lesezugriff und ein Agent, der in das Abrechnungssystem schreibt, werden unterschiedlich gesteuert, selbst wenn beide auf demselben Modell laufen.
Hier beginnt die Trennung zwischen Entwicklung und Freigabe. Das Team, das einen Agenten entwickelt, sollte ihn nicht selbst für die Stufe „Begrenzt autonom“ freigeben. Die Aufbewahrung von Nachweisen gewinnt eigenständige Bedeutung: Testergebnisse, Positivlisten und Freigaben, gespeichert zum jeweiligen Agenten und zu der Version des Basismodells, mit der er getestet wurde.
Hinzu kommen Agenten von Drittanbietern. In ein CRM, eine HR-Plattform oder einen Service Desk eingebettete Agenten agieren mit den Berechtigungen des Anbieters in Ihrer Umgebung, und der Anbieter kann das Modell ohne Vorankündigung ändern. Jeder dieser Agenten braucht einen Eintrag im KI-Inventar und eine Lieferantenbewertung. Der Leitfaden von Enzai zum KI-Risiko von Drittanbietern nennt die Fragen, die Sie stellen sollten.
Wie steuern Großunternehmen mit über 10.000 Beschäftigten oder in regulierten Branchen agentische KI?
In dieser Größenordnung und in jeder regulierten Branche, unabhängig von der Mitarbeiterzahl, wird die Governance agentischer KI zu einem Kontrollumfeld, das eine Aufsichtsbehörde prüfen kann.
Es gilt das Modell der drei Verteidigungslinien. Die Fachbereiche verantworten und betreiben die Agenten; eine Risiko- oder Compliance-Funktion in der zweiten Linie legt Richtlinien fest, stuft Systeme ein und gibt Einsätze mit höherer Autonomie frei; die Interne Revision prüft beides. Die unabhängige Validierung begrenzt autonomer und vollständig autonomer Agenten ist in der zweiten Linie angesiedelt und prüft die Positivliste, die Eskalationslogik und die Testnachweise, nicht nur das Modell.
Vorstand oder Risikoausschuss sollten sehen, wie viele Agenten in Produktion sind, auf welchen Stufen, wie viele Ausnahmen eskaliert wurden, wie oft Menschen den Agenten übersteuert haben und welche Vorfälle es gab. Die Empfehlung der IMDA, menschliche Übersteuerungsquoten zu überwachen, liefert hier eine praxistaugliche Kennzahl: Sinkt die Quote auf null, deutet das auf Automatisierungsbias hin, nicht auf einen gut funktionierenden Agenten.
Nachweise werden für eine Aufsichtsbehörde aufgebaut. Nach dem EU AI Act muss ein Betreiber eines Hochrisiko-KI-Systems nach Anhang III die menschliche Aufsicht natürlichen Personen übertragen, die über die dafür erforderliche Kompetenz, Ausbildung und Befugnis verfügen (Artikel 26), und die vom System erzeugten Protokolle aufbewahren. Diese Nachweise müssen je Agent und je Version vorliegen.
Am bestehenden Modellrisikomanagement geraten große Institute ins Stolpern. Banken in den USA, die unter SR 26-2 fallen, stellen fest, dass generative und agentische KI ausdrücklich vom Anwendungsbereich dieser Leitlinie ausgenommen sind; eine britische Bank mit Genehmigung für interne Modelle findet in PRA SS1/23 keine solche Ausnahme. Die praktikable Lösung ist ein paralleles Framework für agentische KI, das vom selben Ausschuss gesteuert wird wie das Modellrisiko, mit einer dokumentierten Abgrenzung und einem einzigen Inventar. Das Modul von Enzai für die Governance agentischer KI ist für genau diese Ebene gebaut: Es stuft jeden Agenten danach ein, was er unbeaufsichtigt tun kann, legt fest, welche Aktionen ein Agent in der Produktion ausführen darf und welche nicht, leitet Versuche außerhalb dieser Grenzen zur Prüfung an einen Menschen weiter, zeigt, wie Agenten einander aufrufen, und ordnet Kontrollen den OWASP Agentic Top 10 zu.
Was ändert sich zwischen den drei Größenklassen?
Dimension | 250 bis 1.000 Beschäftigte | 1.000 bis 10.000 Beschäftigte | 10.000+ oder reguliert |
|---|---|---|---|
Register | Zentrale Liste mit verantwortlicher Person, Zweck, Stufe | Inventar mit Framework-Mapping und Agenten von Drittanbietern | Führendes System, geprüft von Revision und Aufsicht |
Antragsprozess | Einseitiges Formular, eine prüfende Person | Verpflichtender Workflow, dokumentierte Freigabe, gestufte Vorlagen | Freigabe durch die zweite Linie, unabhängige Validierung für höhere Stufen |
Grundlage der Einstufung | Autonomie und Umkehrbarkeit | Autonomie und Schadensradius | Autonomie, Schadensradius und regulatorische Einstufung |
Menschliche Aufsicht | Ein Mensch gibt folgenreiche Aktionen frei | Prüfpunkte je Stufe definiert | Benannte, geschulte Aufsichtspersonen gemäß Artikel 26; Übersteuerungsquoten überwacht |
Funktionstrennung | Verantwortliche und prüfende Person getrennt | Entwicklung getrennt von Freigabe | Drei Verteidigungslinien |
Nachweise | Protokolle aufbewahrt; Freigaben im Register | Tests und Freigaben je Agent und Modellversion gespeichert | Nachweiskette für die Aufsicht, Berichterstattung an den Vorstand |
Stoppmechanismus | Kill-Switch definiert und getestet | Kill-Switch plus Eskalationsauslöser | Eingeübte Reaktion auf Vorfälle und Meldung |
Welche Governance-Frameworks braucht agentische KI in der Versicherungsbranche?
Ein Agent, der ein Prämienangebot erstellt, einen Schadenfall vorsortiert oder eine Zeichnungsentscheidung anpasst, trifft eine regulierte Entscheidung, und der Rahmen dafür besteht bereits aus vier Ebenen.
Der EU AI Act stuft „KI-Systeme, die bestimmungsgemäß für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Lebens- und Krankenversicherungen verwendet werden sollen“ nach Anhang III Nummer 5 Buchstabe c als hochriskant ein. Ein Agent, der diese Aufgabe in der EU übernimmt, unterliegt ab dem 2. Dezember 2027 den vollständigen Pflichten für Hochrisiko-KI-Systeme. Für alle anderen Fälle legt die Stellungnahme der EIOPA zu KI-Governance und Risikomanagement (EIOPA-BoS-25-360, 6. August 2025) dar, wie das bestehende Versicherungsrecht auf KI-Systeme anzuwenden ist, die weder verboten noch hochriskant sind. Sie behandelt Risikomanagement, Fairness und Ethik, Daten-Governance, Dokumentation, Transparenz, menschliche Aufsicht sowie Genauigkeit und Cybersicherheit und stützt sich auf Artikel 41 der Solvency-II-Richtlinie und Artikel 17 der IDD.
Im Vereinigten Königreich verpflichtet die Consumer Duty der FCA, eingeführt mit PS22/9 und seit dem 31. Juli 2023 in Kraft für Produkte, die zum Verkauf oder zur Verlängerung angeboten werden, Unternehmen zu guten Ergebnissen in den Bereichen Produkte, Preis und Wert, Verständnis sowie Unterstützung. Ein Agent, der Preise festlegt oder Schäden bearbeitet, bewegt sich in allen vier Ergebnisbereichen. Verlassen Sie sich hier nicht auf PRA SS1/23: Die Vorgabe gilt für Banken und schließt Versicherer aus.
In den USA erwartet das NAIC Model Bulletin on the Use of Artificial Intelligence Systems by Insurers, verabschiedet am 4. Dezember 2023 und seitdem von mehr als zwanzig Bundesstaaten und dem District of Columbia übernommen, ein schriftliches AIS-Programm, das Governance, Risikomanagement, die Aufsicht über KI von Drittanbietern und die Zusammenarbeit bei Marktverhaltensprüfungen abdeckt.
Operativ entscheidend ist das Zusammenspiel mit der Governance versicherungsmathematischer Modelle. Tarifierungs- und Reservierungsmodelle unterliegen bereits der versicherungsmathematischen Funktion mit Validierung und Abnahme. Ein Agent, der ein Tarifierungsmodell als Tool aufruft, entzieht dieses Modell nicht der versicherungsmathematischen Governance; er fügt eine darüberliegende Ebene hinzu, deren Aktionen eine eigene Stufe, Positivliste und Protokollierung brauchen. Das Fairnessrisiko steigt, weil ein Agent ein regelkonformes Modell mit einem Ermessensschritt kombinieren kann, den die Validierung des Modells nie abgedeckt hat. Versicherer jeder Größe sollten Agenten für Tarifierung, Underwriting und Schadenbearbeitung auf der Stufe „Überwacht“ halten, bis Übersteuerungsdaten eine höhere Stufe rechtfertigen.
Was das operativ bedeutet
Für ein Governance-Team ist die Reihenfolge in allen drei Größenklassen dieselbe; nur die Tiefe unterscheidet sich.
Bauen Sie zuerst das Register auf. Jeder Agent, auch die in Anbieterlösungen eingebetteten, mit verantwortlicher Person, Zweck, Tool-Berechtigungen und Autonomiestufe in einem einzigen KI-Inventar, das je System Risikostufe, Autonomiestufe, zugeordnete Frameworks und Nachweise erfasst.
Stufen Sie nach Autonomie und Schadensradius ein und ordnen Sie die Kontrollen aus der Tabelle oben zu. Bei 250 bis 1.000 Beschäftigten ist das bereits das gesamte Programm; ab 1.000 steuert es den Antragsprozess und die Weiterleitung von Freigaben.
Setzen Sie Positivliste und Not-Aus technisch durch. Eine Richtlinie, nach der ein Agent nicht in das Abrechnungssystem schreiben darf, ist erst dann eine Kontrolle, wenn der Agent es auch nicht kann. Das Modul von Enzai für agentische KI legt erlaubte und unzulässige Aktionen fest und leitet Versuche außerhalb dieser Grenzen zur Prüfung an einen Menschen weiter.
Bewahren Sie Nachweise je Agent und je Version des Basismodells auf und verfolgen Sie Übersteuerungsquoten und Aktionsverteilungen im Rahmen des laufenden KI-Monitorings. Gleichen Sie das Framework für agentische KI mit dem Modellrisikomanagement ab, in der Versicherungsbranche auch mit der versicherungsmathematischen Governance.
Ordnen Sie Ihre Kontrollen den Standards zu, auf die sich eine Aufsichtsbehörde berufen wird, beginnend mit den OWASP Agentic Top 10. Wenn Sie spezialisierte Plattformen vergleichen: Der Vergleich von Enzai mit Credo AI zeigt, wo Credo AI stärker ist, nämlich bei der technischen Modellbewertung, beim Red Teaming und bei der Drift-Erkennung, und wo Enzai Vorgaben auf Aktionsebene durchsetzt.
Sprechen Sie mit dem Enzai-Team über die Governance agentischer KI, um zu sehen, wie Register, Einstufung und Durchsetzung in einer Organisation Ihrer Größe zusammenspielen.
Seit 2023 nach ISO 27001 zertifiziert, jährlich von NQA auditiert
An der DSGVO ausgerichtete Datenverarbeitung
Kundendaten auf AWS in mehreren Regionen gehostet
Eigenes KI-Modell über eine private Verbindung nutzen
Finden Sie die KI, die Ihre Teams nutzen, prüfen Sie sie vor der Einführung, bewerten Sie sie anhand der geltenden Vorschriften und kontrollieren Sie, was Agenten tun dürfen. Entwickelt für regulierte Organisationen.