In den letzten achtzehn Monaten hat sich die agentische KI vom Forschungsprototypen zur Realität in Unternehmen entwickelt. Bis Ende 2025 prognostizierte Gartner, dass agentische KI-Funktionen bis 2028 in über einem Drittel der Unternehmensanwendungen integriert sein würden, verglichen mit weniger als einem Prozent im Jahr 2024.[1] Salesforce führte Agentforce ein. Microsoft integrierte die Agenten-Orchestrierung in das Copilot Studio. ServiceNow, SAP und Dutzende andere folgten. Für Unternehmen stellt sich nicht mehr die Frage, ob sie KI-Agenten einsetzen, sondern ob sie eine Governance für agentische KI etabliert haben, bevor etwas schiefgeht.

Die Dringlichkeit ist berechtigt. Agentische KI-Systeme unterscheiden sich qualitativ von der KI, für die die meisten Governance-Frameworks konzipiert wurden. Ein Klassifikator vergibt Labels. Ein Chatbot generiert Text. Ein Agent verfolgt Ziele: Er plant mehrstufige Workflows, wählt Tools aus, führt Aktionen aus, beobachtet Ergebnisse und iteriert – oft über Dutzende von Entscheidungen hinweg mit minimalem menschlichen Eingriff. Diese operative Autonomie macht Agenten so wertvoll. Sie macht es aber auch schwierig, sie zu steuern. Die Governance agentischer KI – die Gesamtheit der Richtlinien, Kontrollen und Überwachungsmechanismen, die sicherstellen, dass autonome KI-Agenten innerhalb akzeptabler Risikogrenzen agieren – ist heute eine geschäftliche Notwendigkeit und keine Zukunftsfrage mehr.

Dieser Leitfaden stellt ein praktisches Framework für die Governance agentischer KI in Unternehmen vor. Er behandelt, was agentische KI-Systeme sind und warum sie eine eigene Governance-Behandlung erfordern; wie bestehende Vorschriften anwendbar sind; welche zentralen Governance-Kontrollen Organisationen implementieren sollten; und wie diese Kontrollen operationalisiert werden können, ohne die Innovation zu ersticken, die durch Agenten ermöglicht werden soll.

Was agentische KI so besonders macht

Der Begriff „agentische KI“ beschreibt KI-Systeme, die eigenständig Aktionen zur Erreichung von Zielen durchführen können, anstatt lediglich Ergebnisse für den menschlichen Gebrauch zu generieren. Dieser Unterschied ist von Bedeutung, da er das Risikoprofil grundlegend verändert.

Ein herkömmliches KI-System arbeitet nach einem Anfrage-Antwort-Muster. Ein Benutzer gibt Daten ein, das System generiert das Ergebnis und der Benutzer entscheidet, was damit geschieht. Der Mensch bleibt bei jedem entscheidenden Schritt eingebunden. Ein agentisches System bricht mit diesem Muster. Es erhält ein übergeordnetes Ziel, zerlegt es in Teilaufgaben, wählt Tools aus und ruft diese auf, um jeden Schritt zu bewältigen, bewertet Zwischenergebnisse und passt seinen Ansatz an – all das mit unterschiedlichem Grad an menschlicher Aufsicht, von der vollständigen Freigabe in jeder Phase bis hin zur völlig autonomen Ausführung.

Drei Merkmale unterscheiden agentische KI von herkömmlichen Systemen und bringen besondere Herausforderungen für die Governance mit sich.

Autonome Aktionsausführung

Agenten empfehlen nicht nur, sie handeln. Sie versenden E-Mails, führen Code aus, ändern Datenbanken, rufen APIs auf, erstellen Dateien und interagieren mit externen Diensten. Jede Aktion verändert den Zustand der Umgebung in einer Weise, die sich oft nur schwer oder gar nicht rückgängig machen lässt. Ein falsch klassifiziertes Bild kann korrigiert werden. Eine E-Mail, die an den falschen Empfänger gesendet, ein Datenbankeintrag, der überschrieben, oder eine Finanztransaktion, die fehlerhaft ausgeführt wurde, lässt sich jedoch nicht so einfach rückgängig machen.

Mehrstufige Argumentationsketten

Agenten agieren in komplexen Argumentationsketten, bei denen jeder Schritt auf dem vorherigen aufbaut. Eine einzige allgemeine Anweisung – „finde den besten Kandidaten für diese offene Stelle“ – kann Dutzende von Zwischenentscheidungen darüber auslösen, welche Datenbanken abgefragt werden sollen, welche Kriterien zu gewichten sind, welche Kandidaten in die engere Auswahl kommen und wie mit ihnen kommuniziert werden soll. Governance-Frameworks, die für Einzentscheidungssysteme ausgelegt sind, stoßen bei dieser kumulierenden Komplexität an ihre Grenzen.

Dynamischer Tool-Aufruf

Moderne Agentenarchitekturen ermöglichen es Agenten, Tools wie APIs, Datenbanken, Webdienste oder Code-Interpreter zur Laufzeit zu ermitteln und aufzurufen, die bei der Konzeption oder Bewertung des Systems möglicherweise nicht vorhergesehen wurden. Dies führt zu einem sich ständig verändernden Risikoprofil für die Bewertung und Compliance. Die Leistungsfähigkeit des Systems am Montag kann sich wesentlich von der am Freitag unterscheiden.

Diese drei Merkmale greifen ineinander. Ein Agent, der autonom agiert, über mehrstufige Ketten hinweg arbeitet und dynamisch zur Laufzeit entdeckte Tools aufruft, stellt eine Governance-Herausforderung dar, die nicht nur komplexer ist als die Regulierung eines herkömmlichen KI-Systems, sondern sich strukturell von ihr unterscheidet.

Wie bestehende Vorschriften Anwendung finden

Ein weit verbreiteter Irrglaube ist, dass die aktuelle KI-Regulierung agentische Systeme nicht abdeckt und dass ein neuer gesetzlicher Rahmen erforderlich sei, bevor Governance-Verpflichtungen greifen. Das ist falsch. Organisationen, die auf eine „agenten-spezifische“ Regulierung warten, riskieren, gegen bereits geltende Gesetze zu verstoßen.

Das EU-KI-Gesetz (EU AI Act)

Die Definition eines KI-Systems im EU-KI-Gesetz (Artikel 3 Absatz 1) beschreibt „ein maschinengestütztes System, das für einen in unterschiedlichem Maße autonomen Betrieb ausgelegt ist und nach dem Inverkehrbringen oder der Inbetriebnahme eine Anpassungsfähigkeit aufweisen kann und das für explizite oder implizite Ziele aus den erhaltenen Eingaben ableitet, wie Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.“[2]

Jedes Element dieser Definition lässt sich problemlos auf agentische KI übertragen. „In unterschiedlichem Maße autonomer Betrieb“ sieht ausdrücklich ein Spektrum von menschengesteuerten bis hin zu vollkommen autonomen Abläufen vor. „Implizite Ziele“ – obwohl primär formuliert, um Systeme zu erfassen, bei denen das Ziel durch das Design oder Training vorgegeben ist und nicht als Prompt formuliert wird – ist breit genug, um die im Prozess entstehenden Unterziele abzudecken, die Agenten bei der Zerlegung übergeordneter Anweisungen verfolgen. Diese Interpretationslinie wurde jedoch in der Praxis oder durch formelle Leitlinien des KI-Büros noch nicht rechtlich geprüft.[3] „Entscheidungen“ erfasst die Aktionsauswahl, die Agenten bei jedem Schritt treffen. Und die „Beeinflussung physischer oder virtueller Umgebungen“ geht über die passive Ausgabe hinaus und umfasst die umgebungsverändernden Aktionen, die agentisches Verhalten definieren.

Die Umsetzung des Gesetzes erfolgt schrittweise. Die Verbote von KI-Systemen mit unannehmbarem Risiko traten am 2. Februar 2025 in Kraft. Die Verpflichtungen für KI-Modelle mit allgemeinem Verwendungszweck (GPAI) gelten ab dem 2. August 2025. Das gesamte Paket der Verpflichtungen für Hochrisikosysteme gemäß Anhang III tritt am 2. August 2026 in Kraft.[4] Organisationen, die agentische Systeme in Hochrisiko-Anwendungsfällen einsetzen, haben nur noch ein schrumpfendes Zeitfenster für die Vorbereitung.

Fällt ein agentisches System unter einen in Anhang III aufgeführten Hochrisiko-Anwendungsfall – wie Beschäftigungsentscheidungen, Kreditwürdigkeitsprüfung, Strafverfolgung oder die Verwaltung kritischer Infrastrukturen –, gelten alle Verpflichtungen für Hochrisikosysteme. Dazu gehören Risikomanagementsysteme (Artikel 9), Daten-Governance (Artikel 10), technische Dokumentation (Artikel 11), Aufzeichnung von Protokollen (Artikel 12), Transparenz (Artikel 13), menschliche Aufsicht (Artikel 14) sowie Anforderungen an Genauigkeit, Robustheit und Cybersicherheit (Artikel 15).[5] Artikel 12 verdient besondere Beachtung: Bei Systemen, deren Entscheidungen sich über mehrstufige Argumentationsketten mit dynamischen Tool-Aufrufen erstrecken, sind die Protokollierungsanforderungen technisch anspruchsvoll, aber für den Betrieb der wichtigste Faktor.

Das operative Framework des Gesetzes stößt bei agentischen Anwendungsfällen an seine Grenzen – insbesondere im Hinblick auf Konformitätsbewertungen für dynamische Systeme, die Aufteilung der Verantwortung zwischen Anbieter und Betreiber, wenn Agenten Tools von Drittanbietern aufrufen, und der Definition einer „angemessenen“ menschlichen Aufsicht für Systeme, die Dutzende von Mikroentscheidungen pro Sekunde treffen.[6] Dennoch ist der regulatorische Rahmen eindeutig. Agentische KI-Systeme gelten im Sinne des Gesetzes als KI-Systeme, und die entsprechenden Verpflichtungen sind bindend.

Verpflichtungen für GPAI-Modelle

Viele Unternehmensagenten basieren auf KI-Modellen mit allgemeinem Verwendungszweck, die von Drittanbietern wie Anthropic, OpenAI, Google, Meta und anderen bereitgestellt werden. Das EU-KI-Gesetz erlegt den Anbietern von GPAI-Modellen gemäß den Artikeln 51 bis 56 spezifische Verpflichtungen auf, darunter die Erstellung technischer Dokumentationen, Transparenz bei der Urheberrechtspolitik sowie, für Modelle mit systemischem Risiko, kontradiktorische Tests (Red Teaming) und die Meldung schwerwiegender Vorfälle.[7] Der Ende 2025 fertiggestellte GPAI-Verhaltenskodex bietet einen Compliance-Pfad für diese Verpflichtungen.

Für Unternehmen, die diese Modelle einsetzen, führt das Zusammenspiel zwischen den Verpflichtungen des GPAI-Anbieters und denen des Betreibers zu einem vielschichtigen Compliance-Bild. Der Anbieter des Basismodells trägt eine Reihe von Verantwortlichkeiten, das einsetzende Unternehmen andere. Wenn ein Agenten-Framework ein GPAI-Modell, eine Orchestrierungsebene und Tools von Drittanbietern zu einem Gesamtsystem zusammenfügt, wird die Verteilung der Verpflichtungen entlang der Wertschöpfungskette zu einer eigenen Governance-Herausforderung, die im Abschnitt zu den verschiedenen Stakeholdern weiter unten direkt behandelt wird.

ISO/IEC 42001

Der internationale Standard für KI-Managementsysteme, der im Dezember 2023 veröffentlicht wurde, bietet ein Framework für den Aufbau, die Implementierung und die kontinuierliche Verbesserung eines KI-Managementsystems.[8] Obwohl er agentische KI nicht explizit thematisiert, sind seine Kontrollmechanismen für Risikobewertung, menschliche Aufsicht und kontinuierliche Überwachung direkt anwendbar. Organisationen, die eine Zertifizierung nach ISO 42001 anstreben, sollten sicherstellen, dass ihr KI-Managementsystem den Einsatz autonomer Agenten explizit abdeckt und sich nicht nur auf herkömmliche KI-Anwendungen beschränkt.

NIST AI Risk Management Framework

Die vier Kernfunktionen des NIST AI RMF – Govern, Map, Measure, Manage – bieten einen strukturierten Ansatz für das KI-Risikomanagement, der sich direkt auf agentische Systeme übertragen lässt.[9] Die Betonung des Frameworks auf kontextbezogene Risikobewertung und kontinuierliche Überwachung ist angesichts des dynamischen Verhaltens von Agenten besonders relevant. Das begleitende Dokument zu den Risiken generativer KI (NIST AI 600-1) befasst sich mit verschiedenen Risiken, die für toolbasierte Agenten von Bedeutung sind, darunter Prompt Injection und unbeabsichtigte Offenlegung von Daten.[10] Die OECD, deren Definition von KI-Systemen die Formulierung von Artikel 3 Absatz 1 beeinflusst hat, arbeitet ebenfalls aktiv an Klassifizierungs-Frameworks, die den Grad der Autonomie als Dimension einbeziehen – eine Arbeit, die die Entwicklung der Governance agentischer KI auf internationaler Ebene maßgeblich prägen dürfte.[11]

Sektorspezifische und länderspezifische Anforderungen

Der Colorado AI Act, der im Februar 2026 vorbehaltlich anstehender Gesetzesänderungen in Kraft tritt, verpflichtet Entwickler und Betreiber von Hochrisiko-KI-Systemen zu angemessener Sorgfalt, um algorithmische Diskriminierung bei folgenschweren Entscheidungen zu vermeiden.[12] Agentische Systeme, die Einstellungs-, Finanz-, Versicherungs- oder Wohnungsentscheidungen treffen oder maßgeblich beeinflussen, fallen direkt in diesen Geltungsbereich. Im Finanzsektor gelten behördenübergreifende Richtlinien zum Modellrisikomanagement (die SR 11-7 der Federal Reserve und OCC 2011-12) für KI-Agenten, die bei der Risikobewertung und Entscheidungsfindung eingesetzt werden. Diese Richtlinien wurden jedoch für traditionelle statistische Modelle konzipiert und erfordern eine sorgfältige Interpretation für Agenten, die auf Basismodellen aufbauen und autonom auf Tools zugreifen.[13]

Das Framework für die Governance agentischer KI

Die Steuerung agentischer KI erfordert Kontrollmechanismen, die den oben genannten spezifischen Merkmalen Rechnung tragen: autonome Aktionsausführung, mehrstufige Argumentation und dynamischer Tool-Aufruf. Das hier vorgestellte Framework, das auf der Arbeit von Enzai mit Governance-Teams in Unternehmen basiert, gliedert diese Kontrollen in fünf Ebenen: Autonomie-Klassifizierung, Freigabe von Aktionen (Whitelisting), Eskalationslogik, Rückverfolgbarkeit und kontinuierliche Überwachung. Jede Ebene baut auf der vorherigen auf.

Ebene 1: Autonomie-Klassifizierung

Nicht alle Agenten erfordern das gleiche Maß an Governance. Ein Agent, der Entwürfe für E-Mail-Antworten zur menschlichen Überprüfung erstellt, weist ein grundlegend anderes Risikoprofil auf als ein Agent, der autonom Finanztransaktionen durchführt. Der erste Schritt in jedem Governance-Programm für agentische KI besteht darin, den Autonomiegrad jedes Agenten zu klassifizieren und diese Klassifizierung mit angemessenen Kontrollen zu verknüpfen.

Die Klassifizierung sollte spezifisch für den Anwendungsfall erfolgen, nicht für das Modell. Dasselbe Basismodell kann in einem Szenario als unterstützender Assistent der Stufe 1 dienen und in einem anderen als autonomer Agent der Stufe 3 agieren. Die Governance-Verpflichtungen hängen vom konkreten Einsatz ab, nicht vom Modell selbst.

Ebene 2: Freigabe von Aktionen (Whitelisting) und begrenzte Aktionsräume

Die wirksamste Methode zur Kontrolle agentischer KI besteht darin, ihre Handlungsmöglichkeiten zu beschränken. Anstatt zu versuchen, jedes erdenkliche Fehlerszenario vorherzusehen und zu verhindern, definiert ein Whitelisting-Ansatz die zulässigen Aktionen, die ein Agent ausführen darf – also die Tools, die er nutzen, die APIs, die er aufrufen, die Daten, auf die er zugreifen, und die Systeme, die er verändern darf.

Dabei handelt es sich um ein restriktives Prinzip: Alles, was nicht explizit erlaubt ist, ist verboten. Dies kehrt das typische Sicherheitsmodell für Softwaresysteme um (bei dem alles erlaubt ist, was nicht ausdrücklich untersagt ist) und trägt der Tatsache Rechnung, dass agentische KI-Systeme Aktionen entdecken und versuchen könnten, die von den Entwicklern nie vorgesehen waren.

Die praktische Umsetzung umfasst die Definition von Aktionsgrenzen auf drei Ebenen:

• Zugriff auf Tools: Welche APIs, Datenbanken, Dienste und Ausführungsumgebungen der Agent aufrufen darf.

• Parametereinschränkungen: Welche Eingaben der Agent an ein Tool übergeben darf (z. B. die Beschränkung eines Datenbank-Agenten auf reine Leseoperationen in bestimmten Tabellen).

• Auswirkungsgrenzen: Schwellenwerte für den Umfang einer einzelnen Aktion (z. B. die Begrenzung des finanziellen Werts von Transaktionen, die ein Agent ohne menschliche Freigabe autorisieren darf).

Ein wichtiger operativer Aspekt: Aktions-Whitelists müssen kontinuierlich gepflegt werden, wenn sich die Tool-Landschaft verändert. Wenn ein Anbieter eines Basismodells ein Update bereitstellt, das das Modellverhalten verändert, oder wenn neue Tools zum Aktionsraum eines Agenten hinzugefügt werden, muss die Whitelist überprüft und neu validiert werden. Die Behandlung von Whitelists als statische Konfigurationen statt als dynamische Governance-Instrumente ist eine häufige Fehlerquelle.

Ebene 3: Eskalationslogik

Selbst innerhalb begrenzter Aktionsräume werden Agenten auf Situationen stoßen, die ihre Kompetenz oder Befugnis überschreiten. Eine effektive Governance erfordert vordefinierte Eskalationspfade – klare Regeln darüber, wann ein Agent die Kontrolle an einen Menschen zurückgeben muss, anstatt autonom fortzufahren.

Eskalationsauslöser sollten Folgendes umfassen:

• Konfidenzschwellenwerte: Wenn das Vertrauen des Agenten in seine gewählte Aktion unter ein definiertes Niveau fällt.

• Auswirkungsschwellenwerte: Wenn eine geplante Aktion vordefinierte Grenzen überschreitet (finanzieller Wert, Anzahl der betroffenen Datensätze, Unumkehrbarkeit).

• Anomalieerkennung: Wenn das Verhalten des Agenten von den erwarteten Mustern abweicht.

• Bereichsgrenzen: Wenn der Agent auf eine Aufgabe oder einen Bereich außerhalb seines definierten Zuständigkeitsbereichs stößt.

• Fehlerbedingungen: Wenn ein Tool-Aufruf fehlschlägt oder unerwartete Ergebnisse liefert.

Das Design von Eskalationsmechanismen ist ebenso wichtig wie die Auslöser selbst. Die Eskalation muss für den Agenten reibungslos verlaufen (er sollte nicht durch Designmuster „bestraft“ oder davon abgehalten werden, zu eskalieren) und für den Menschen direkt bearbeitbar sein. Das bedeutet, dass die Eskalation ausreichend Kontext enthalten muss, damit der Mensch eine fundierte Entscheidung treffen kann, ohne die gesamte Argumentationskette des Agenten rekonstruieren zu müssen.

Ebene 4: Rückverfolgbarkeit und Audit-Trails

Sowohl die regulatorischen Anforderungen des EU-KI-Gesetzes (Artikel 12 für Hochrisikosysteme) als auch die praktische Reaktion auf Vorfälle erfordern eine lückenlose Protokollierung der Aktivitäten des Agenten.[14] Bei agentischen Systemen bedeutet dies, dass nicht nur Ein- und Ausgaben erfasst werden müssen, sondern die gesamte Kette der Argumentation, Tool-Aufrufe, Zwischenergebnisse und Entscheidungen bei jedem einzelnen Schritt.

Ein effektiver Audit-Trail für agentische KI sollte Folgendes protokollieren:

• Das ursprüngliche Ziel oder die Anweisung, die dem Agenten erteilt wurde.

• Jeden einzelnen Argumentationsschritt und die Begründung für die Auswahl einer Aktion.

• Jeden Tool-Aufruf, einschließlich des aufgerufenen Tools, der übergebenen Parameter und der erhaltenen Antwort.

• Die durchgeführten Aktionen und deren Ergebnisse.

• Eskalationsereignisse und menschliche Eingriffe.

• Veränderungen des System- oder Umgebungszustands, die sich aus den Aktionen des Agenten ergeben.

• Zeitstempel und Sitzungs-IDs, die zusammenhängende Ereignisse verknüpfen.

Diese Protokolle dienen mehreren Zwecken: der Untersuchung von Vorfällen, der Einhaltung gesetzlicher Vorschriften, der kontinuierlichen Verbesserung von Governance-Kontrollen und der Klärung der Verantwortlichkeit, wenn Fehler auftreten. Sie sollten unveränderlich, mit Zeitstempeln versehen und unabhängig vom Agentensystem selbst gespeichert werden, um Manipulationen auszuschließen.

Ebene 5: Kontinuierliche Überwachung

Eine punktuelle Bewertung – bei der ein Agent vor dem Rollout evaluiert wird und man davon ausgeht, dass er dauerhaft konform bleibt – reicht bei Systemen, deren Fähigkeiten und Verhalten sich dynamisch verändern können, nicht aus. Die Governance agentischer KI erfordert eine kontinuierliche Überwachung in verschiedenen Dimensionen:

• Leistungsüberwachung: Erfüllen die Ergebnisse des Agenten die Qualitäts- und Genauigkeitsanforderungen?

• Verhaltensüberwachung: Bleibt das Verhalten des Agenten innerhalb der erwarteten Muster? Verändern sich die Verteilungen der Aktionen im Laufe der Zeit?

• Compliance-Überwachung: Bleiben die Aktionen des Agenten innerhalb des zulässigen Rahmens? Werden Eskalationsprotokolle eingehalten?

• Fairness-Überwachung: Bei Agenten, die Entscheidungen über Personen treffen oder beeinflussen: Sind die Ergebnisse über geschützte Merkmale hinweg ausgewogen und fair?

• Sicherheitsüberwachung: Ist der Agent manipulativen Eingaben, Prompt-Injection-Versuchen oder anderen Angriffen ausgesetzt?

Die Ergebnisse der Überwachung sollten direkt in die Governance-Kontrollen einfließen. Wenn die Überwachung eine Anomalie feststellt – etwa eine unzulässige Aktion, eine Verschiebung der Ergebnisverteilung oder ein Muster, das auf Manipulation hindeutet –, sollte die Reaktion nach Möglichkeit automatisiert erfolgen (z. B. durch Pausieren des Agenten oder Auslösen einer Eskalation) und für die menschliche Überprüfung dokumentiert werden.

Wer ist verantwortlich, wenn ein Agent handelt?

Eine der komplexesten Fragen bei der Governance agentischer KI ist die Aufteilung der Verantwortung auf verschiedene Akteure. Ein typischer Einsatz eines Unternehmensagenten umfasst mindestens vier Parteien: den Anbieter des Basismodells (wie OpenAI, Anthropic, Google, Meta oder andere), das Agenten-Framework bzw. die Orchestrierungsebene (die eine Drittplattform oder eine Eigenentwicklung sein kann), das einsetzende Unternehmen sowie die Anbieter der Tools und APIs, die der Agent zur Laufzeit aufruft.

Das EU-KI-Gesetz teilt die Pflichten zwischen Anbietern und Betreibern auf, wobei einige Bestimmungen auch Importeure und Händler betreffen.[15] Diese binäre Aufteilung lässt sich jedoch nicht eins zu eins auf die agentische Wertschöpfungskette übertragen. Wer ist der „Anbieter“ eines Agenten, der ein Basismodell eines Drittanbieters mit einer internen Orchestrierungsebene kombiniert, die externe APIs aufruft? Artikel 25 befasst sich mit Situationen, in denen Dritte KI-Systeme modifizieren oder zweckentfremden und dadurch selbst zu Anbietern werden können. Die Grenzen bleiben jedoch bei dynamisch zusammengesetzten Systemen unscharf.[16]

Diese Fragmentierung birgt auch ein oft unterschätztes Risiko in der Lieferkette der Basismodelle. Wenn ein Modellanbieter ein Update bereitstellt – sei es eine neue Modellversion, geänderte Sicherheitsfilter oder veränderte Verhaltensmuster –, greifen die zuvor validierten Governance-Kontrollen möglicherweise nicht mehr. Aktions-Whitelists, Eskalationsschwellenwerte und Compliance-Bewertungen basieren alle auf einem bestimmten Ausgangsverhalten des Modells. Ein unangekündigtes Modell-Update kann diese Annahmen hinfällig machen, ohne dass auf der Seite des Betreibers Änderungen vorgenommen wurden.

Eine praxisnahe Governance muss dieser Fragmentierung Rechnung tragen. Unternehmen, die agentische KI einsetzen, sollten:

• Die gesamte Wertschöpfungskette für jeden Agenten-Einsatz dokumentieren und alle Akteure sowie deren Governance-Zuständigkeiten klar identifizieren.

• Vertragliche Vereinbarungen mit Tool- und API-Anbietern treffen, die den Datenumfang, die Haftung und die Reaktion auf Vorfälle regeln.

• Eine klare interne Verantwortlichkeitsstruktur etablieren – wer ist für welchen Agenten zuständig, wer übernimmt die Überwachung und wer hat die Befugnis, einzugreifen oder das System abzuschalten.

• Version-Pinning und Change-Management-Prozesse für Basismodelle implementieren, einschließlich automatischer Re-Validierungsschleifen bei Updates durch die Anbieter.

• Die Verteilung der Verantwortlichkeiten so dokumentieren, dass sie einer regulatorischen Prüfung standhält.

Incident Response für agentische KI

Bei der Governance geht es nicht nur darum, Fehler zu verhindern, sondern auch darum, effektiv zu reagieren, wenn sie auftreten. Agentische KI-Systeme erfordern Incident-Response-Prozesse, die ihrer autonomen und mehrstufigen Natur gerecht werden.

Ein Incident-Response-Plan für agentische KI sollte Folgendes umfassen:

• Notabschaltungen (Kill Switches): Die Möglichkeit, die Ausführung eines Agenten sofort zu stoppen, ihm den Zugriff auf Tools zu entziehen und weitere Aktionen zu verhindern. Dies muss technisch absolut zuverlässig sein (unabhängig von der Mitwirkung des Agenten) und für autorisierte Personen innerhalb von Sekunden zur Verfügung stehen.

• Rollback-Verfahren: Soweit möglich, vordefinierte Prozesse zur Rückgängigmachung von Aktionen, die durch einen Agenten ausgeführt wurden. Da nicht alle Aktionen umkehrbar sind, sind der Audit-Trail und die oben beschriebenen Auswirkungsgrenzen entscheidend, um den potenziellen Schaden zu begrenzen.

• Meldepflichten: In regulierten Branchen können bestimmte Systemfehler Meldepflichten auslösen. Im Finanzsektor müssen nicht autorisierte Transaktionen unter Umständen innerhalb weniger Stunden gemeldet werden. Gemäß dem EU-KI-Gesetz müssen schwerwiegende Vorfälle mit Hochrisiko-KI-Systemen unverzüglich an die Marktüberwachungsbehörden gemeldet werden.

• Ursachenanalyse (Root Cause Analysis): Nach einem Vorfall sollte die gesamte Argumentationskette vom ursprünglichen Ziel über jeden einzelnen Tool-Aufruf und jede Entscheidung bis hin zum Fehlerpunkt anhand des in Ebene 4 erfassten Audit-Trails nachvollzogen werden.

Die Planung der Incident-Response-Prozesse sollte vor dem Rollout erfolgen, nicht erst nach dem ersten Vorfall. Simulationen von Agentenfehlern – wie eine verletzte Aktionsgrenze, eine fehlgeschlagene Eskalation oder eine manipulierte Antwort eines Tools – helfen den Teams, die notwendigen Abläufe einzustudieren, um im Ernstfall schnell und besonnen zu reagieren.

Operationalisierung der Governance agentischer KI

Governance-Frameworks stiften nur dann Nutzen, wenn sie sich in der Praxis operationalisieren lassen – und zwar so, dass sie keine Hürden aufbauen, die die durch Agenten angestrebte Innovation im Keim ersticken. Einige Prinzipien helfen dabei, die Brücke zwischen Theorie und Praxis zu schlagen.

Integrieren Sie Governance in den gesamten Lebenszyklus des Agenten

Governance sollte kein separater Prozess sein, der parallel zur Entwicklung und zum Betrieb von Agenten läuft. Sie muss fest in die Entwicklungs-Pipeline integriert sein: Autonomie-Klassifizierung in der Designphase, Aktions-Whitelisting während der Entwicklung, Testen der Eskalationslogik vor dem Rollout und kontinuierliche Überwachung in der Produktion. Dies entspricht dem „Shift-Left“-Ansatz in der Softwaresicherheit: Governance wird von Anfang an mitgedacht und nicht erst nachträglich hinzugefügt.

Automatisieren Sie Governance-Kontrollen

Manuelle Governance-Prozesse können mit Agenten, die in Maschinengeschwindigkeit agieren, nicht Schritt halten. Das Whitelisting von Aktionen sollte programmatisch erzwungen werden und nicht über Richtliniendokumente. Eskalationsauslöser müssen automatisch anspringen, anstatt sich auf die manuelle Überprüfung von Protokollen durch Menschen zu verlassen. Compliance-Prüfungen sollten als automatisierte Gates in CI/CD-Pipelines integriert werden, um Entwicklerteams klare Signale (Pass/Fail) anstelle von auszufüllenden Formularen zu liefern.

Verankern Sie die Governance im KI-Inventar

Jedes agentische KI-System sollte in einem zentralen KI-Inventar erfasst werden. Dieses dokumentiert die Autonomie-Klassifizierung, den zulässigen Aktionsraum, die Eskalationsprotokolle, die Konfiguration der Überwachung, die zugewiesene Verantwortlichkeit und die Version des verwendeten Basismodells. Dieses Inventar bildet das Fundament jedes Governance-Programms. Ohne ein solches Verzeichnis kann ein Unternehmen elementare Fragen darüber, welche Agenten im Einsatz sind, was sie tun dürfen und wer für sie verantwortlich ist, nicht beantworten.

Gehen Sie bei der Umsetzung pragmatisch vor

Unternehmen, die Dutzende von Agenten einführen, können nicht alle fünf Governance-Ebenen für jeden einzelnen Einsatz gleichzeitig implementieren. Ein bewährter, schrittweiser Ansatz sieht wie folgt aus:

1. Beginnen Sie mit dem Inventar. Sie können nur steuern, was Sie auch sehen. Erfassen Sie jeden im Unternehmen eingesetzten Agenten, einschließlich inoffizieller Lösungen (Schatten-KI), die von Teams eigenständig implementiert wurden.

2. Klassifizieren Sie die Autonomiegrade. Ordnen Sie jeden Agenten einer Stufe zu. Dies bestimmt das angemessene Maß aller folgenden Kontrollen.

3. Führen Sie Aktions-Whitelists zuerst für Agenten der Stufen 3 und 4 ein. Diese weisen das höchste Risiko auf und profitieren am stärksten von eingegrenzten Aktionsräumen.

4. Etablieren Sie Audit-Trails vom ersten Tag an. Die Protokollierung ist die kostengünstigste Maßnahme bei der frühen Implementierung und die teuerste bei einer nachträglichen Integration.

5. Fügen Sie mit zunehmender Reife der Systeme eine kontinuierliche Überwachung hinzu. Beginnen Sie mit der Compliance-Überwachung (bleibt der Agent innerhalb seiner Whitelist?) und weiten Sie diese im Laufe der Zeit auf Verhaltens- und Fairness-Überwachung aus.

Betrachten Sie Governance als Wettbewerbsvorteil

Unternehmen, die Governance ausschließlich als Compliance-Kostenfaktor verstehen, werden zu wenig investieren und Widerstände in den Entwicklerteams hervorrufen. Besser ist es, Governance als Grundvoraussetzung für Skalierung zu begreifen. Ohne systematische Kontrollen bleibt der Einsatz von Agenten auf risikoarme Anwendungsfälle mit geringem Mehrwert beschränkt, da das Unternehmen für anspruchsvollere Aufgaben keine ausreichende Kontrolle nachweisen kann. Erst eine solide Governance ermöglicht es einem Unternehmen, den Schritt von vorsichtigen Pilotprojekten hin zu produktiven Einsätzen mit echtem geschäftlichen Mehrwert zu gehen.

Ausblick auf die zukünftige Regulierung agentischer KI

Die regulatorische Landschaft für agentische KI wird sich in den kommenden zwei Jahren rasant verändern. CEN und CENELEC erarbeiten im Rahmen des Joint Technical Committee 21 harmonisierte Standards unter dem EU-KI-Gesetz, dessen Mandat im Juni 2025 angepasst wurde, um die Standardisierung zu beschleunigen.[17] Diese Standards müssen definieren, wie eine angemessene menschliche Aufsicht für hochgradig autonome Systeme aussieht – durch begrenzte Aktionsräume, strukturierte Kontrollpunkte, Audit-Trails und Interventionsmöglichkeiten –, ohne bei jedem einzelnen Teilschritt einen menschlichen Eingriff vorauszusetzen.

Die Europäische Kommission hat die Befugnis, die Liste der Hochrisiko-Anwendungsfälle in Anhang III durch delegierte Rechtsakte anzupassen, wenn neue agentenspezifische Risiken auftreten, ohne dass dafür ein vollständiges Gesetzgebungsverfahren erforderlich ist.[18] Leitlinien der Kommission können zudem Klarheit darüber schaffen, wie das Provider-Deployer-Modell auf agentische Wertschöpfungsketten anzuwenden ist und wann der Aufruf von Tools zur Laufzeit als „wesentliche Veränderung“ gemäß Artikel 3 Absatz 23 gilt. Verhaltenskodizes gemäß Artikel 56 bieten ein weiteres Instrument, um agentenspezifische Risiken auf der Ebene der GPAI-Modelle zu adressieren – etwa durch Steuerungsfunktionen, Protokollierung der Tool-Nutzung und Einschränkungen des Aktionsraums.[19]

Branchenverbände und Organisationen wie die IAPP und die OECD arbeiten aktiv an Governance-Richtlinien für autonome KI.[20] ISO/IEC JTC 1/SC 42 baut die Normenreihe 42000 für KI kontinuierlich aus, und es ist davon auszugehen, dass mit zunehmender Reife der Technologie spezifische Standards für agentische Systeme definiert werden.

Unternehmen, die mit der Umsetzung von Governance-Maßnahmen warten, bis diese Standards und Richtlinien finalisiert sind, werden gezwungen sein, Kontrollmechanismen nachträglich in Systeme zu integrieren, die nie dafür ausgelegt waren – ein kostspieliges und ineffizientes Unterfangen. Der kluge Weg besteht darin, jetzt die notwendige Governance-Infrastruktur aufzubauen und diese flexibel anzupassen, sobald sich die regulatorischen Anforderungen konkretisieren.

Die Herausforderung, agentische KI zu steuern, ist real, aber nicht beispiellos. Unternehmen haben bereits in der Vergangenheit komplexe, autonome und risikoreiche Systeme erfolgreich reguliert – vom algorithmischen Handel über autonome Fahrzeuge bis hin zur robotergesteuerten Prozessautomatisierung (RPA). Die Prinzipien bleiben dieselben: Risiken klassifizieren, Handlungen einschränken, Eskalationspfade definieren, Rückverfolgbarkeit gewährleisten und kontinuierlich überwachen. Neu sind lediglich die Dynamik, mit der agentische KI eingeführt wird, und die Breite der Unternehmensbereiche, die sie betrifft.

Die Implementierung dieser fünf Governance-Ebenen über Dutzende von Agenten-Einsätzen hinweg – jeder mit unterschiedlichen Autonomiestufen, Tool-Zugriffsrechten und regulatorischen Anforderungen – ist ebenso sehr eine Infrastruktur- wie eine Richtlinienaufgabe. Bei Enzai ist der Aufbau genau dieser Infrastruktur – von der Autonomie-Klassifizierung und dem Aktions-Whitelisting bis hin zur kontinuierlichen Überwachung und Compliance mit dem EU-KI-Gesetz, ISO 42001 und dem NIST AI RMF – die Kernaufgabe, für die unsere Plattform entwickelt wurde. Um mehr zu erfahren, buchen Sie eine Demo.

Enzai ist die führende Plattform für die KI-Governance in Unternehmen, speziell entwickelt, um Organisationen beim Übergang von abstrakten Richtlinien zur operativen Kontrolle zu unterstützen. Unsere KI-Risikomanagement-Plattform bietet die spezialisierte Infrastruktur, die für die Verwaltung der Governance agentischer KI, die Pflege eines lückenlosen KI-Inventars und die Gewährleistung der Compliance mit dem EU-KI-Gesetz erforderlich ist. Durch die Automatisierung komplexer Workflows ermöglicht Enzai es Unternehmen, die Einführung von KI sicher zu skalieren und gleichzeitig die Ausrichtung an globalen Standards wie ISO 42001 und NIST sicherzustellen.

Referenzen

[1] Gartner, „Agentic AI: The Next Frontier of Enterprise AI“, Oktober 2024. Gartner prognostizierte, dass agentische KI-Funktionen bis 2028 in 33 % der Unternehmensanwendungen integriert sein werden.

[2] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates, Artikel 3 Absatz 1. Amtsblatt der Europäischen Union, Reihe L, 12. Juli 2024.

[3] Die im Jahr 2025 veröffentlichten interpretativen Leitlinien der Europäischen Kommission zur Definition von KI-Systemen bieten zusätzlichen Kontext, sind jedoch nicht spezifisch auf die Entstehung von Unterzielen in agentischen Systemen eingegangen.

[4] Verordnung (EU) 2024/1689, Artikel 113–114 (Inkrafttreten und Geltungsbeginn).

[5] Verordnung (EU) 2024/1689, Kapitel III, Abschnitt 2, Artikel 9–15.

[6] Für eine detaillierte Analyse dieser operativen Herausforderungen siehe Enzai, „The EU AI Act Bends. It Need Not Break“, März 2026.

[7] Verordnung (EU) 2024/1689, Kapitel V, Artikel 51–56 (Pflichten für Anbieter von GPAI-Modellen).

[8] ISO/IEC 42001:2023, Informationstechnik – Künstliche Intelligenz – Managementsystem. Internationale Organisation für Normung, Dezember 2023.

[9] NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, Januar 2023.

[10] NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1, Juli 2024.

[11] OECD, „OECD Framework for the Classification of AI Systems“, OECD Digital Economy Papers No. 323, Februar 2022. Die OECD-KI-Prinzipien wurden im Mai 2024 aktualisiert.

[12] Colorado SB 24-205, Concerning Consumer Protections for Artificial Intelligence, unterzeichnet im Mai 2024. Ursprüngliches Inkrafttreten am 1. Februar 2026, vorbehaltlich anstehender Gesetzesänderungen.

[13] Board of Governors of the Federal Reserve System, SR Letter 11-7, „Supervisory Guidance on Model Risk Management“, April 2011; Office of the Comptroller of the Currency, OCC 2011-12.

[14] Verordnung (EU) 2024/1689, Artikel 12 (Aufzeichnung von Protokollen für Hochrisiko-KI-Systeme).

[15] Verordnung (EU) 2024/1689, Artikel 16 (Pflichten der Anbieter) und 26 (Pflichten der Betreiber).

[16] Verordnung (EU) 2024/1689, Artikel 25 (Pflichten anderer Parteien in der KI-Wertschöpfungskette).

[17] Standardisierungsauftrag M/593 der Europäischen Kommission an CEN und CENELEC, geändert im Juni 2025; CEN-CENELEC JTC 21 Arbeitsprogramm.

[18] Verordnung (EU) 2024/1689, Artikel 7 (Änderungen an Anhang III).

[19] Verordnung (EU) 2024/1689, Artikel 56 (Verhaltenskodizes für GPAI-Modelle).

[20] IAPP AI Governance Center; OECD AI Policy Observatory, oecd.ai; ISO/IEC JTC 1/SC 42 Arbeitsprogramm.