In achtzehn Monaten hat sich agentische KI von einem Forschungsprototypen zu einer Enterprise-Realität entwickelt. Ende 2025 prognostizierte Gartner, dass agentische KI-Fähigkeiten bis 2028 in über einem Drittel der Enterprise-Softwareanwendungen eingebettet sein würden, gegenüber weniger als einem Prozent im Jahr 2024.[1] Salesforce brachte Agentforce auf den Markt. Microsoft integrierte Agent-Orchestrierung in Copilot Studio. ServiceNow, SAP und Dutzende weitere folgten. Für Unternehmen lautet die Frage nicht mehr, ob KI-Agenten eingeführt werden sollen, sondern ob vor dem Eintritt eines Vorfalls eine Governance für agentische KI etabliert ist.

Die Dringlichkeit ist gerechtfertigt. Agentische-KI-Systeme sind qualitativ anders als die KI, für die die meisten Governance-Frameworks ursprünglich konzipiert wurden. Ein Klassifikator weist Labels zu. Ein Chatbot erzeugt Text. Ein Agent verfolgt Ziele: Er plant mehrstufige Workflows, wählt Werkzeuge aus, führt Aktionen aus, beobachtet Ergebnisse und iteriert – oft über Dutzende von Entscheidungen hinweg mit minimaler menschlicher Intervention. Diese operative Autonomie macht Agenten wertvoll. Sie macht sie jedoch auch schwer zu steuern. Governance für agentische KI – der Satz aus Richtlinien, Kontrollen und Überwachungsmechanismen, der sicherstellt, dass autonome KI-Agenten innerhalb akzeptabler Risikogrenzen agieren – ist heute eine unternehmerische Notwendigkeit, keine Zukunftsüberlegung.

Dieser Leitfaden skizziert einen praxisnahen Rahmen für die Governance agentischer KI in Unternehmen. Er behandelt, was agentische KI-Systeme sind und warum sie eine eigenständige Governance-Behandlung erfordern; wie bestehende Vorschriften gelten; welche zentralen Governance-Kontrollen Organisationen implementieren sollten; und wie sich diese Kontrollen operationalisieren lassen, ohne die Innovation zu ersticken, die Agenten ermöglichen sollen.

Was agentische KI anders macht

Der Begriff „agentische KI“ beschreibt KI-Systeme, die autonome Aktionen verfolgen können, um Ziele zu erreichen, anstatt lediglich Ausgaben für den menschlichen Konsum zu erzeugen. Diese Unterscheidung ist entscheidend, weil sie das Risikoprofil grundlegend verändert.

Ein konventionelles KI-System arbeitet innerhalb eines Anfrage-Antwort-Paradigmas. Ein Benutzer liefert eine Eingabe; das System erzeugt eine Ausgabe; der Benutzer entscheidet, was damit geschehen soll. Der Mensch bleibt bei jedem maßgeblichen Schritt im Loop. Ein agentisches System durchbricht dieses Muster. Es erhält ein übergeordnetes Ziel, zerlegt es in Teilaufgaben, wählt Werkzeuge aus und ruft sie auf, um jeden Schritt auszuführen, bewertet Zwischenergebnisse und passt seinen Ansatz an – jeweils mit unterschiedlichem Maß an menschlicher Aufsicht, von der vollständigen Freigabe in jeder Phase bis hin zur vollständig autonomen Ausführung.

Drei Eigenschaften unterscheiden agentische KI von konventionellen Systemen und erzeugen eigenständige Governance-Herausforderungen.

Autonome Handlungsausführung

Agenten empfehlen nicht nur; sie handeln. Sie versenden E-Mails, führen Code aus, ändern Datenbanken, rufen APIs auf, erstellen Dateien und interagieren mit externen Diensten. Jede Aktion verändert den Zustand der Welt auf eine Weise, die schwer oder unmöglich rückgängig zu machen sein kann. Ein falsch klassifiziertes Bild lässt sich korrigieren. Eine E-Mail an den falschen Empfänger, ein überschriebenes Datenbankfeld oder eine irrtümlich ausgeführte Finanztransaktion lassen sich nicht einfach rückgängig machen.

Mehrstufige Schlussfolgerungsketten

Agenten arbeiten über längere Schlussfolgerungsketten hinweg, in denen jeder Schritt auf dem vorherigen aufbaut. Eine einzige übergeordnete Anweisung – „finden Sie den besten Kandidaten für diese offene Stelle“ – kann Dutzende von Zwischenschritten auslösen, etwa dazu, welche Datenbanken abgefragt werden, welche Kriterien gewichtet werden, welche Kandidaten in die engere Auswahl kommen und wie mit ihnen kommuniziert wird. Für Governance-Frameworks, die für Systeme mit Einzelentscheidungen konzipiert wurden, ist diese kumulative Komplexität schwer zu handhaben.

Dynamischer Werkzeugaufruf

Moderne Agentenarchitekturen ermöglichen es Agenten, Werkzeuge zur Laufzeit zu entdecken und aufzurufen – APIs, Datenbanken, Webdienste, Code-Interpreter –, die bei der Konzeption oder Bewertung des Systems möglicherweise nicht vorhergesehen wurden. Dies erschwert die Risikoanalyse und die Compliance erheblich. Die Fähigkeiten des Systems am Montag können sich deutlich von seinen Fähigkeiten am Freitag unterscheiden.

Diese drei Eigenschaften wirken zusammen. Ein Agent mit autonomer Handlungsausführung, der über mehrstufige Ketten operiert und zur Laufzeit dynamisch entdeckte Werkzeuge aufruft, stellt eine Governance-Herausforderung dar, die nicht nur schwieriger ist als die Governance eines konventionellen KI-Systems – sie ist strukturell anders.

Wie bestehende Vorschriften gelten

Ein weitverbreiteter Irrtum besagt, dass die derzeitige KI-Regulierung agentische Systeme nicht erfasse – dass es eines neuen Rechtsrahmens bedürfe, bevor Governance-Pflichten greifen. Das ist falsch, und Organisationen, die auf eine „agentenspezifische“ Regulierung warten, riskieren, bereits heute gegen geltendes Recht zu verstoßen.

Der EU AI Act

Die Definition eines KI-Systems in Artikel 3 Absatz 1 des EU AI Act beschreibt „ein maschinenbasiertes System, das darauf ausgelegt ist, mit unterschiedlichen Autonomiestufen zu arbeiten und das nach dem Einsatz Anpassungsfähigkeit aufweisen kann und das für explizite oder implizite Ziele aus den empfangenen Eingaben ableitet, wie Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen zu erzeugen sind, die physische oder virtuelle Umgebungen beeinflussen können“.[2]

Jedes Element dieser Definition lässt sich ohne Verrenkungen auf agentische KI anwenden. „Unterschiedliche Autonomiestufen“ denkt ausdrücklich an ein Spektrum von human-gesteuerter bis vollständig autonomer Ausführung. „Implizite Ziele“ – zwar in erster Linie formuliert, um Systeme zu erfassen, deren Ziel durch Design oder Training impliziert ist und nicht als Prompt vorgegeben wird – ist weit genug gefasst, um die entstehenden Unterziele abzudecken, die Agenten beim Zerlegen hochrangiger Anweisungen verfolgen, auch wenn diese Auslegung bislang weder in der Durchsetzung noch durch eine formelle Leitlinie des AI Office getestet wurde.[3] „Entscheidungen“ erfasst die Auswahl von Aktionen, die Agenten in jedem Schritt treffen. Und „physische oder virtuelle Umgebungen beeinflussen“ geht über die passive Ausgabeerzeugung hinaus und umfasst die umgebungsverändernden Aktionen, die agentisches Verhalten definieren.

Der Durchsetzungszeitplan des Gesetzes ist gestaffelt. Verbote für KI-Systeme mit unannehmbarem Risiko traten am 2. Februar 2025 in Kraft. Pflichten für General-Purpose-AI-(GPAI)-Modelle gelten ab dem 2. August 2025. Das vollständige Spektrum der Pflichten für Hochrisikosysteme gemäß Anhang III greift ab dem 2. August 2026.[4] Organisationen, die agentische Systeme in Hochrisiko-Anwendungsfällen einsetzen, haben nur noch ein enger werdendes Zeitfenster zur Vorbereitung.

Fällt ein agentisches System unter einen in Anhang III aufgeführten Hochrisiko-Anwendungsfall – etwa Beschäftigungsentscheidungen, Kreditbewertung, Strafverfolgung oder das Management kritischer Infrastrukturen – gelten die vollständigen Pflichten für Hochrisikosysteme. Dazu gehören Risikomanagementsysteme (Artikel 9), Daten-Governance (Artikel 10), technische Dokumentation (Artikel 11), Aufzeichnungs- und automatische Protokollierungspflichten (Artikel 12), Transparenz (Artikel 13), menschliche Aufsicht (Artikel 14) sowie Anforderungen an Genauigkeit, Robustheit und Cybersicherheit (Artikel 15).[5] Artikel 12 verdient besondere Hervorhebung: Für Systeme, deren Entscheidungen sich über mehrstufige Schlussfolgerungsketten mit dynamischen Werkzeugaufrufen entfalten, sind die Protokollierungsanforderungen sowohl die technisch anspruchsvollste als auch die operativ wichtigste Verpflichtung, die richtig umgesetzt werden muss.

Der operative Rahmen des Gesetzes gerät bei agentischen Anwendungsfällen durchaus unter Druck – insbesondere bei der Konformitätsbewertung dynamischer Systeme, bei der Aufteilung der Verantwortung zwischen Anbieter und Betreiber, wenn Agenten Werkzeuge Dritter aufrufen, sowie bei der Frage, was „verhältnismäßige“ menschliche Aufsicht für Systeme bedeutet, die Dutzende Mikroentscheidungen pro Sekunde treffen.[6] Doch der regulatorische Rahmen ist klar. Agentische KI-Systeme sind KI-Systeme im Sinne des Gesetzes, und die Pflichten gelten.

Pflichten für GPAI-Modelle

Viele Enterprise-Agenten basieren auf General-Purpose-AI-Modellen, die von Dritten bereitgestellt werden – Anthropic, OpenAI, Google, Meta und andere. Der EU AI Act legt in den Artikeln 51 bis 56 spezifische Pflichten für Anbieter von GPAI-Modellen fest, darunter technische Dokumentation, Transparenz der Urheberrechtspolitik und – für als systemisch riskant eingestufte Modelle – adversariales Testen und Vorfallberichterstattung.[7] Der Ende 2025 finalisierte GPAI Code of Practice bietet einen Compliance-Pfad für diese Pflichten.

Für Unternehmensbetreiber ergibt sich aus dem Zusammenspiel zwischen den Pflichten der GPAI-Anbieter und den Pflichten der Betreiber ein mehrschichtiges Compliance-Bild. Der Anbieter des Basismodells trägt bestimmte Verantwortlichkeiten; die einsetzende Organisation trägt andere. Wenn ein Agenten-Framework ein GPAI-Modell, eine Orchestrierungsschicht und Drittanbieter-Tools zu einem zusammengesetzten System integriert, wird die Zuordnung der Pflichten über die Wertschöpfungskette hinweg zu einer eigenständigen Governance-Herausforderung – einer Herausforderung, auf die der folgende Abschnitt zu mehreren Akteuren direkt eingeht.

ISO/IEC 42001

Der internationale Standard für KI-Managementsysteme, veröffentlicht im Dezember 2023, bietet einen Rahmen für den Aufbau, die Implementierung und die kontinuierliche Verbesserung eines KI-Managementsystems.[8] Zwar befasst er sich nicht spezifisch mit agentischer KI, doch seine Kontrollen zu Risikobewertung, menschlicher Aufsicht und kontinuierlicher Überwachung sind direkt anwendbar. Organisationen, die eine ISO-42001-Zertifizierung anstreben, sollten sicherstellen, dass ihr KI-Managementsystem ausdrücklich auch den Einsatz autonomer Agenten abdeckt und nicht nur konventionelle KI-Anwendungen.

NIST AI Risk Management Framework

Die vier Kernfunktionen des NIST AI RMF – Govern, Map, Measure, Manage – bieten einen strukturierten Ansatz für das KI-Risikomanagement, der sich nahtlos auf agentische Systeme übertragen lässt.[9] Der Schwerpunkt des Frameworks auf kontextbezogener Risikobewertung und kontinuierlicher Überwachung ist angesichts des dynamischen Verhaltens von Agenten besonders relevant. Das Begleitdokument zu Risiken generativer KI (NIST AI 600-1) behandelt mehrere für werkzeugnutzende Agenten relevante Risiken, darunter Prompt-Injection und unbeabsichtigte Datenexposition.[10] Auch die OECD, deren Definition eines KI-Systems Artikel 3 Absatz 1 beeinflusst hat, entwickelt aktiv Klassifizierungsrahmen, die den Autonomiegrad als Dimension einbeziehen – eine Arbeit, die voraussichtlich prägen wird, wie sich Governance für agentische KI international entwickelt.[11]

Entstehende staatliche und branchenspezifische Anforderungen

Der Colorado AI Act, der vorbehaltlich ausstehender gesetzlicher Änderungen ab Februar 2026 gilt, verpflichtet Entwickler und Betreiber von Hochrisiko-KI-Systemen dazu, mit angemessener Sorgfalt vorzugehen, um algorithmische Diskriminierung bei folgenschweren Entscheidungen zu vermeiden.[12] Agentische Systeme, die Beschäftigungs-, Finanz-, Versicherungs- oder Wohnentscheidungen treffen oder wesentlich beeinflussen, fallen eindeutig in den Anwendungsbereich. Im Finanzdienstleistungssektor gelten interbehördliche Leitlinien zum Modellrisikomanagement (der Federal Reserve SR 11-7 und OCC 2011-12) für KI-Agenten, die in Risikoanalyse und Entscheidungsfindung eingesetzt werden, auch wenn sie für traditionelle statistische Modelle konzipiert wurden und bei Foundation-Model-basierten Agenten mit autonomem Werkzeugzugriff sorgfältig interpretiert werden müssen.[13]

Der Governance-Rahmen für agentische KI

Die Governance agentischer KI erfordert Kontrollen, die die oben beschriebenen spezifischen Eigenschaften adressieren: autonome Handlungsausführung, mehrstufige Schlussfolgerung und dynamischer Werkzeugaufruf. Der hier auf Basis der Arbeit von Enzai mit Enterprise-Governance-Teams entwickelte Rahmen ordnet diese Kontrollen in fünf Ebenen: Autonomieklassifizierung, Aktions-Whitelisting, Eskalationslogik, Nachvollziehbarkeit und kontinuierliche Überwachung. Jede Ebene baut auf der vorherigen auf.

Ebene 1: Autonomieklassifizierung

Nicht alle Agenten erfordern dasselbe Maß an Governance. Ein Agent, der E-Mail-Antworten für die menschliche Prüfung entwirft, weist ein grundlegend anderes Risikoprofil auf als einer, der Finanztransaktionen autonom ausführt. Der erste Schritt in jedem Governance-Programm für agentische KI besteht darin, den Autonomiegrad jedes Agenten zu klassifizieren und diese Klassifizierung mit angemessenen Kontrollen zu verknüpfen.

Die Klassifizierung sollte anwendungsfallspezifisch und nicht modell-spezifisch sein. Dasselbe Basismodell kann in einer Bereitstellung einen Assistenten der Stufe 1 und in einer anderen einen autonomen Agenten der Stufe 3 antreiben. Die Governance-Pflichten knüpfen an die Bereitstellung an, nicht an das Modell.

Ebene 2: Aktions-Whitelisting und begrenzte Aktionsräume

Die wirksamste Kontrolle für agentische KI besteht darin, einzuschränken, was sie tun darf. Anstatt zu versuchen, jeden möglichen Fehlmodus vorherzusagen und zu verhindern, definiert das Aktions-Whitelisting die Menge zulässiger Aktionen, die ein Agent ausführen darf – die Werkzeuge, die er aufrufen darf, die APIs, die er ansprechen darf, die Daten, auf die er zugreifen darf, und die Systeme, die er verändern darf.

Dies ist ein Allow-List-Ansatz, kein Deny-List-Ansatz. Die Standardhaltung lautet, dass jede nicht ausdrücklich erlaubte Aktion verboten ist. Damit kehrt sich das übliche Sicherheitsmodell für Softwaresysteme um, bei dem alles erlaubt ist, was nicht ausdrücklich verboten ist, und es spiegelt die Realität wider, dass agentische KI-Systeme Aktionen entdecken und versuchen können, die ihre Entwickler nie vorgesehen hatten.

Die praktische Umsetzung umfasst die Definition von Aktionsgrenzen auf drei Ebenen:

• Werkzeugzugriff: Welche APIs, Datenbanken, Dienste und Code-Ausführungsumgebungen der Agent aufrufen darf

• Parameterbeschränkungen: Welche Eingaben der Agent an jedes Werkzeug übergeben darf (etwa die Beschränkung eines Datenbankabfrage-Agenten auf schreibgeschützte Operationen auf bestimmten Tabellen)

• Auswirkungsgrenzen: Schwellenwerte für den Umfang einer einzelnen Aktion (etwa die Begrenzung des Geldwerts von Transaktionen, die ein Agent ohne menschliche Genehmigung autorisieren darf)

Eine entscheidende operative Überlegung: Aktions-Whitelists müssen mit der Entwicklung der Werkzeuglandschaft gepflegt werden. Wenn ein Anbieter eines Basismodells ein Update bereitstellt, das das Modellverhalten verändert, oder wenn neue Werkzeuge zum potenziellen Aktionsraum eines Agenten hinzugefügt werden, muss die Whitelist überprüft und neu validiert werden. Whitelists als statische Konfiguration statt als lebendige Governance-Artefakte zu behandeln, ist ein häufiger Fehler.

Ebene 3: Eskalationslogik

Selbst innerhalb begrenzter Aktionsräume werden Agenten auf Situationen stoßen, die ihre Kompetenz oder Befugnis übersteigen. Wirksame Governance erfordert vordefinierte Eskalationspfade – klare Regeln dafür, wann ein Agent die Kontrolle an einen Menschen zurückgeben muss, anstatt autonom fortzufahren.

Eskalationsauslöser sollten Folgendes umfassen:

• Konfidenzschwellen: Wenn das Vertrauen des Agenten in die gewählte Aktion unter ein definiertes Niveau fällt

• Auswirkungsschwellen: Wenn eine vorgeschlagene Aktion definierte Auswirkungsgrenzen überschreitet (finanzieller Wert, Anzahl betroffener Datensätze, Irreversibilität)

• Anomalieerkennung: Wenn sich das Verhalten des Agenten von erwarteten Mustern unterscheidet

• Domänengrenzen: Wenn der Agent auf eine Aufgabe oder Domäne trifft, die außerhalb seines definierten Umfangs liegt

• Fehlerbedingungen: Wenn ein Werkzeugaufruf fehlschlägt oder unerwartete Ergebnisse zurückliefert

Die Gestaltung von Eskalationsmechanismen ist ebenso wichtig wie die Auslöser selbst. Eine Eskalation muss für den Agenten reibungslos sein (sie darf ihn durch Gestaltungsweisen nicht dazu „anreizen“, Eskalationen zu vermeiden, indem er dafür bestraft wird) und für den Menschen handlungsfähig machen (die Eskalation muss ausreichenden Kontext enthalten, damit der Mensch eine fundierte Entscheidung treffen kann, ohne die gesamte Schlussfolgerungskette des Agenten rekonstruieren zu müssen).

Ebene 4: Nachvollziehbarkeit und Audit-Trails

Regulatorische Anforderungen unter dem EU AI Act (Artikel 12 für Hochrisikosysteme) und die praktische Vorfallsbearbeitung verlangen beide eine umfassende Protokollierung von Agentenaktivitäten.[14] Bei agentischen Systemen bedeutet dies, nicht nur Eingaben und Ausgaben zu erfassen, sondern die gesamte Schlussfolgerungskette, alle Werkzeugaufrufe, Zwischenergebnisse und Entscheidungen in jedem Schritt.

Ein wirksamer Audit-Trail für agentische KI sollte Folgendes protokollieren:

• Das anfängliche Ziel oder die dem Agenten gegebene Anweisung

• Jeden Schlussfolgerungsschritt und die Begründung für die Auswahl der Aktion

• Jeden Werkzeugaufruf, einschließlich des aufgerufenen Werkzeugs, der übergebenen Parameter und der erhaltenen Antwort

• Getroffene Aktionen und ihre Ergebnisse

• Eskalationsereignisse und menschliche Interventionen

• Änderungen des Umgebungszustands infolge von Agentenaktionen

• Zeitstempel und Sitzungskennungen, die zusammenhängende Ereignisse verknüpfen

Diese Protokolle dienen mehreren Zwecken: der Untersuchung nach einem Vorfall, der regulatorischen Compliance, der kontinuierlichen Verbesserung von Governance-Kontrollen und der Zuordnung von Verantwortlichkeit, wenn etwas schiefläuft. Sie sollten unveränderlich, mit Zeitstempel versehen und unabhängig vom Agentensystem selbst gespeichert werden, um Manipulationen zu verhindern.

Ebene 5: Kontinuierliche Überwachung

Eine punktuelle Bewertung – also die Beurteilung eines Agenten vor dem Einsatz unter der Annahme, dass er anschließend konform bleibt – reicht für Systeme nicht aus, deren Fähigkeiten und Verhalten sich dynamisch verändern können. Governance für agentische KI erfordert eine kontinuierliche Überwachung über mehrere Dimensionen hinweg:

• Leistungsüberwachung: Erreichen die Ergebnisse des Agenten die Qualitäts- und Genauigkeitsschwellen?

• Verhaltensüberwachung: Bleibt das Verhalten des Agenten innerhalb der erwarteten Muster? Verschieben sich die Verteilungen seiner Aktionen im Laufe der Zeit?

• Compliance-Überwachung: Bleiben die Aktionen des Agenten innerhalb seines zulässigen Aktionsraums? Werden Eskalationsprotokolle eingehalten?

• Fairness-Überwachung: Sind bei Agenten, die Entscheidungen über Personen treffen oder beeinflussen, die Ergebnisse über geschützte Merkmale hinweg fair?

• Sicherheitsüberwachung: Ist der Agent adversarialen Eingaben, Prompt-Injection-Versuchen oder anderer Manipulation ausgesetzt?

Die Überwachung sollte in die Governance-Kontrollen zurückwirken. Erkennt die Überwachung eine Anomalie – eine Aktion außerhalb des zulässigen Sets, eine Verschiebung der Ergebnisverteilungen, ein Muster, das auf adversariale Manipulation hindeutet – sollte die Reaktion, wenn möglich, automatisiert erfolgen (den Agenten pausieren, Eskalation auslösen) und für die menschliche Prüfung dokumentiert werden.

Wer ist verantwortlich, wenn ein Agent handelt?

Einer der schwierigsten Aspekte der Governance für agentische KI ist, dass Verantwortung auf mehrere Akteure verteilt ist. Ein typischer Enterprise-Agenten-Einsatz umfasst mindestens vier Parteien: den Anbieter des Basismodells (OpenAI, Anthropic, Google, Meta oder andere); das Agenten-Framework bzw. die Orchestrierungsschicht (die eine Drittanbieterplattform sein oder intern entwickelt werden kann); die einsetzende Organisation; sowie die Anbieter der Werkzeuge und APIs, die der Agent zur Laufzeit aufruft.

Der EU AI Act teilt Pflichten zwischen Anbietern und Betreibern auf, wobei einige Bestimmungen Importeure und Händler adressieren.[15] Dieses binäre Modell lässt sich jedoch nicht sauber auf die agentische Wertschöpfungskette übertragen. Wer ist der „Anbieter“ eines Agenten, der ein Drittanbieter-Basismodell mit einer internen Orchestrierungsschicht und externen APIs kombiniert? Artikel 25 behandelt Situationen, in denen Dritte KI-Systeme verändern oder zweckentfremden und dadurch selbst zu Anbietern werden können, doch die Abgrenzungen bleiben bei dynamisch komponierten Systemen unklar.[16]

Diese Fragmentierung schafft außerdem ein Lieferkettenrisiko im Zusammenhang mit Basismodellen, das viele Organisationen unterschätzen. Wenn ein Modellanbieter ein Update einspielt – eine neue Modellversion, geänderte Sicherheitsfilter, veränderte Verhaltensmuster –, können die gegen die vorherige Version validierten Governance-Kontrollen nicht mehr greifen. Aktions-Whitelists, Eskalationsschwellen und Compliance-Bewertungen setzen alle ein bestimmtes Modellverhaltens-Referenzniveau voraus. Ein stilles Modell-Update kann diese Annahmen ohne jede Änderung auf Seiten des Betreibers zunichtemachen.

Praktische Governance muss dieser Fragmentierung Rechnung tragen. Organisationen, die agentische KI einsetzen, sollten:

• die gesamte Wertschöpfungskette für jede Agentenbereitstellung kartieren und jeden Akteur sowie seine Governance-Verantwortlichkeiten identifizieren

• vertragliche Vereinbarungen mit Werkzeug- und API-Anbietern treffen, die Datenverarbeitung, Haftung und Vorfallreaktion regeln

• eine klare interne Verantwortungsstruktur aufrechterhalten – wer jede Agentenbereitstellung verantwortet, wer für die Überwachung zuständig ist und wer befugt ist, einzugreifen oder abzuschalten

• Version Pinning und Change-Management-Prozesse für Basismodelle implementieren, mit Revalidierungs-Auslösern, wenn Anbieter Updates veröffentlichen

• die Zuordnung von Verantwortlichkeiten so dokumentieren, dass sie einer regulatorischen Prüfung standhält

Vorfallreaktion für agentische KI

Governance bedeutet nicht nur, Fehler zu verhindern; sie bedeutet auch, wirksam darauf zu reagieren, wenn sie eintreten. Agentische KI-Systeme erfordern Vorfallreaktionsverfahren, die ihrer autonomen, mehrstufigen Natur Rechnung tragen.

Ein Vorfallreaktionsplan für agentische KI sollte Folgendes umfassen:

• Sofortabschaltung: Die Möglichkeit, die Ausführung eines Agenten sofort zu stoppen, seinen Werkzeugzugriff zu entziehen und weitere Aktionen zu verhindern. Dies muss technisch zuverlässig sein (also nicht von der Mitwirkung des Agenten abhängen) und für benannte Mitarbeitende innerhalb von Sekunden zugänglich sein

• Rollback-Verfahren: Soweit möglich vordefinierte Verfahren, um von einem Agenten vorgenommene Aktionen rückgängig zu machen. Nicht alle Aktionen sind reversibel, weshalb der oben beschriebene Audit-Trail und die Auswirkungsgrenzen entscheidend sind, um den Schaden zu begrenzen

• Meldepflichten: In regulierten Branchen können bestimmte Agentenfehler Meldepflichten auslösen. Im Finanzsektor können nicht autorisierte Transaktionen eine Meldung an die Aufsichtsbehörden innerhalb weniger Stunden erfordern. Nach dem EU AI Act müssen schwerwiegende Vorfälle mit Hochrisiko-KI-Systemen den Marktaufsichtsbehörden gemeldet werden

• Ursachenanalyse: Die Untersuchung nach einem Vorfall sollte die vollständige Schlussfolgerungskette vom ursprünglichen Ziel über jeden Werkzeugaufruf und jede Entscheidung bis hin zum Fehlerpunkt nachvollziehen und dabei den in Ebene 4 erfassten Audit-Trail nutzen

Die Planung der Vorfallreaktion sollte vor der Bereitstellung erfolgen, nicht erst nach dem ersten Fehler. Tabletop-Übungen, die Agentenausfälle simulieren – eine überschrittene Aktionsgrenze, eine fehlgeschlagene Eskalation, eine kompromittierte Werkzeugantwort – helfen Teams, die notwendige Reaktionsroutine zu entwickeln, um unter Druck wirksam zu handeln.

Governance für agentische KI operationalisieren

Governance-Frameworks sind nur dann wertvoll, wenn sie operationalisiert werden können – also in der Praxis umgesetzt werden, ohne so viel Reibung zu erzeugen, dass sie die Innovation verhindern, die Agenten ermöglichen sollen. Mehrere Prinzipien helfen, die Lücke zwischen Rahmenwerk und Praxis zu schließen.

Governance in den Agenten-Lebenszyklus integrieren

Governance sollte kein separater Arbeitsstrang sein, der parallel zur Entwicklung und Bereitstellung von Agenten läuft. Sie sollte in die Entwicklungspipeline eingebettet sein – Autonomieklassifizierung in der Entwurfsphase, Aktions-Whitelisting während der Entwicklung, Test der Eskalationslogik vor der Bereitstellung, kontinuierliche Überwachung in der Produktion. Das ist analog zur Shift-Left-Bewegung in der Sicherheit: Governance wird von Anfang an mitgedacht und nicht im Nachhinein hinzugefügt.

Governance-Kontrollen automatisieren

Manuelle Governance-Prozesse können mit Agenten, die mit Maschinengeschwindigkeit arbeiten, nicht Schritt halten. Aktions-Whitelisting sollte programmatisch durchgesetzt werden, nicht über Richtliniendokumente. Eskalationsauslöser sollten automatisch greifen und nicht auf die manuelle Überwachung von Logs angewiesen sein. Compliance-Prüfungen sollten als automatisierte Gates in CI/CD-Pipelines laufen und Engineering-Teams klare Bestanden/Nicht-bestanden-Signale geben, statt Compliance-Formulare zum Ausfüllen bereitzustellen.

Governance in das KI-Inventar integrieren

Jedes agentische KI-System sollte in einem zentralen KI-Inventar registriert sein, das seine Autonomieklassifizierung, den zulässigen Aktionsraum, die Eskalationsprotokolle, die Überwachungskonfiguration, die Verantwortungszuordnung und die Version des Basismodells erfasst. Dieses Inventar ist das Fundament des Governance-Programms – ohne es kann eine Organisation grundlegende Fragen dazu nicht beantworten, welche Agenten sie eingesetzt hat, wozu diese berechtigt sind und wer für sie verantwortlich ist.

Die Implementierung pragmatisch staffeln

Organisationen, die Dutzende von Agenten einsetzen, können nicht alle fünf Governance-Ebenen gleichzeitig über jede Bereitstellung hinweg implementieren. Ein praxisnaher Staffelungsansatz:

1. Mit dem Inventar beginnen. Man kann nur steuern, was man sehen kann. Erfassen Sie jede Agentenbereitstellung, einschließlich Schattenbereitstellungen, die Teams informell eingerichtet haben könnten.

2. Autonomiestufen klassifizieren. Ordnen Sie jeden Agenten einer Stufe zu. Dies bestimmt die Verhältnismäßigkeit jeder nachfolgenden Kontrolle.

3. Aktions-Whitelisting zunächst für Agenten der Stufe 3 und 4 umsetzen. Diese tragen das höchste Risiko und profitieren am stärksten von begrenzten Aktionsräumen.

4. Audit-Trails von Anfang an aufbauen. Logging ist die günstigste frühzeitig zu implementierende Kontrolle und die teuerste nachzurüsten.

5. Kontinuierliche Überwachung im Zuge der Reifung der Bereitstellungen ergänzen. Beginnen Sie mit Compliance-Überwachung (bleibt der Agent innerhalb seiner Whitelist?) und erweitern Sie sie im Zeitverlauf um Verhaltens- und Fairness-Überwachung.

Governance als Wettbewerbsvorteil verstehen

Organisationen, die Governance ausschließlich als Compliance-Kosten betrachten, investieren zu wenig darin und erzeugen Frustration in den Engineering-Teams. Der bessere Rahmen ist Governance als Voraussetzung für Skalierung. Ohne systematische Kontrollen bleiben Agentenbereitstellungen auf risikoarme, wertarme Anwendungsfälle beschränkt, weil die Organisation für ambitioniertere Vorhaben keine angemessene Aufsicht nachweisen kann. Governance ermöglicht erst den Übergang eines Unternehmens von vorsichtigen Pilotprogrammen zu produktiven Bereitstellungen mit echtem Geschäftsnutzen.

Was als Nächstes in der Regulierung agentischer KI kommt

Die Governance-Landschaft für agentische KI wird sich in den nächsten zwei Jahren rasant weiterentwickeln. CEN und CENELEC erarbeiten über das Gemeinsame Technische Komitee 21 harmonisierte Normen im Rahmen des EU AI Act; das Mandat wurde im Juni 2025 angepasst, um die Beschleunigung des Normungsprogramms widerzuspiegeln.[17] Diese Normen müssen beantworten, wie proportionale menschliche Aufsicht bei hochautonomen Systemen aussieht – begrenzte Aktionsräume, strukturierte Kontrollpunkte, Audit-Trails und Interventionsmechanismen –, ohne bei jedem Schritt einen Menschen im Loop zu verlangen.

Die Europäische Kommission hat die Befugnis, die Liste der Hochrisiko-Anwendungsfälle in Anhang III durch delegierte Rechtsakte zu aktualisieren, sobald agentenspezifische Risiken auftauchen, ohne dass es einer vollständigen Gesetzesänderung bedarf.[18] Leitlinien der Kommission können zudem präzisieren, wie sich der Rahmen von Anbieter und Betreiber auf agentische Wertschöpfungsketten überträgt und wann ein Werkzeugaufruf zur Laufzeit eine „wesentliche Veränderung“ im Sinne von Artikel 3 Absatz 23 darstellt. Verhaltenskodizes nach Artikel 56 bieten einen weiteren Hebel, um agentenspezifische Risiken auf der GPAI-Modellschicht zu adressieren – etwa Kontrollierbarkeitsfunktionen, Protokollierung der Werkzeugnutzung und Einschränkungen des Aktionsraums.[19]

Branchenverbände wie die IAPP und die OECD arbeiten aktiv an Governance-Leitlinien für autonome KI.[20] ISO/IEC JTC 1/SC 42 erweitert die 42000er-Reihe der KI-Normen fortlaufend, und es wäre nicht überraschend, wenn mit zunehmender Reife der Bereitstellungslage agentenspezifische Arbeitspunkte entstehen würden.

Organisationen, die mit dem Handeln warten, bis diese Normen und Leitlinien vorliegen, werden Governance im Nachhinein in Agentenbereitstellungen einbauen müssen, die nie dafür ausgelegt waren – ein kostspieliges und störendes Unterfangen. Der umsichtigere Ansatz besteht darin, die Governance-Infrastruktur jetzt aufzubauen und sie an regulatorische und normbasierte Anforderungen anzupassen, sobald diese sich verfestigen.

Die Herausforderung, agentische KI zu steuern, ist real, aber nicht beispiellos. Unternehmen haben bereits andere komplexe, autonome und risikoreiche Systeme gesteuert – vom algorithmischen Handel über autonome Fahrzeuge bis hin zur robotergestützten Prozessautomatisierung. Die Prinzipien sind dieselben: Risiken klassifizieren, Handlungen begrenzen, Eskalation verlangen, Nachvollziehbarkeit sicherstellen und kontinuierlich überwachen. Neu ist die Geschwindigkeit, mit der agentische KI ausgerollt wird, und die Breite der Unternehmensfunktionen, die sie berührt.

Die Umsetzung dieser fünf Governance-Ebenen über Dutzende von Agentenbereitstellungen hinweg, jeweils mit unterschiedlichen Autonomiestufen, Werkzeugzugriffskonfigurationen und regulatorischen Pflichten, ist ebenso sehr ein Infrastruktur- wie ein Richtlinienproblem. Bei Enzai ist genau der Aufbau dieser Infrastruktur – von der Autonomieklassifizierung und dem Aktions-Whitelisting bis hin zu kontinuierlicher Überwachung und regulatorischer Compliance entlang des EU AI Act, ISO 42001 und NIST AI RMF – die Herausforderung, für die unsere Plattform entwickelt wurde. Um mehr zu erfahren, eine Demo buchen.

Enzai ist die führende Enterprise-KI-Governance-Plattform, die speziell entwickelt wurde, um Organisationen beim Übergang von abstrakter Richtlinie zu operativer Aufsicht zu unterstützen. Unsere Plattform für KI-Risikomanagement bietet die spezialisierte Infrastruktur, die erforderlich ist, um Governance für agentische KI zu steuern, ein umfassendes KI-Inventar zu pflegen und die Compliance mit dem EU AI Act sicherzustellen. Durch die Automatisierung komplexer Workflows befähigt Enzai Unternehmen, KI mit Zuversicht zu skalieren und gleichzeitig die Ausrichtung an globalen Standards wie ISO 42001 und NIST beizubehalten.

Referenzen

[1] Gartner, „Agentische KI: Die nächste Grenze der Enterprise-KI“, Oktober 2024. Gartner prognostizierte, dass agentische KI-Fähigkeiten bis 2028 in 33 % der Enterprise-Softwareanwendungen vorkommen würden.

[2] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates, Artikel 3 Absatz 1. Amtsblatt der Europäischen Union, Reihe L, 12. Juli 2024.

[3] Die Auslegungshinweise der Europäischen Kommission zur Definition eines KI-Systems (veröffentlicht 2025) liefern zusätzlichen Kontext, gehen jedoch nicht speziell auf die entstehende Zerlegung in Unterziele in agentischen Systemen ein.

[4] Verordnung (EU) 2024/1689, Artikel 113 bis 114 (Inkrafttreten und Anwendungsdaten).

[5] Verordnung (EU) 2024/1689, Kapitel III, Abschnitt 2, Artikel 9 bis 15.

[6] Eine detaillierte Analyse dieser operativen Spannungsfelder finden Sie bei Enzai, „Der EU AI Act biegt sich. Er muss nicht brechen“, März 2026.

[7] Verordnung (EU) 2024/1689, Kapitel V, Artikel 51 bis 56 (Pflichten für Anbieter von GPAI-Modellen).

[8] ISO/IEC 42001:2023, Informationstechnologie – Künstliche Intelligenz – Managementsystem. Internationale Organisation für Normung, Dezember 2023.

[9] NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, Januar 2023.

[10] NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1, Juli 2024.

[11] OECD, „OECD-Rahmen für die Klassifizierung von KI-Systemen“, OECD Digital Economy Papers Nr. 323, Februar 2022. Die OECD-KI-Prinzipien wurden im Mai 2024 aktualisiert.

[12] Colorado SB 24-205, „Betreffend Verbraucherschutz für künstliche Intelligenz“, unterzeichnet im Mai 2024. Ursprüngliches Inkrafttreten am 1. Februar 2026; vorbehaltlich ausstehender gesetzlicher Änderungen.

[13] Board of Governors of the Federal Reserve System, SR Letter 11-7, „Aufsichtsleitlinie zum Modellrisikomanagement“, April 2011; Office of the Comptroller of the Currency, OCC 2011-12.

[14] Verordnung (EU) 2024/1689, Artikel 12 (Aufzeichnungs- und automatische Protokollierungspflichten für Hochrisiko-KI-Systeme).

[15] Verordnung (EU) 2024/1689, Artikel 16 (Pflichten der Anbieter) und 26 (Pflichten der Betreiber).

[16] Verordnung (EU) 2024/1689, Artikel 25 (Pflichten anderer Beteiligter entlang der KI-Wertschöpfungskette).

[17] Standardisierungsauftrag der Europäischen Kommission M/593 an CEN und CENELEC, geändert im Juni 2025; Arbeitsprogramm des CEN-CENELEC JTC 21.

[18] Verordnung (EU) 2024/1689, Artikel 7 (Änderungen an Anhang III).

[19] Verordnung (EU) 2024/1689, Artikel 56 (Verhaltenskodizes für GPAI-Modelle).

[20] IAPP AI Governance Center; OECD AI Policy Observatory, oecd.ai; Arbeitsprogramm von ISO/IEC JTC 1/SC 42.