Agentische KI-Governance: Der definitive Leitfaden für Unternehmen

In achtzehn Monaten hat sich die agentische KI vom Forschungsprototypen zur Realität in Unternehmen entwickelt. Ende 2025 prognostizierte Gartner, dass bis 2028 agentische KI-Funktionen in über einem Drittel der Unternehmenssoftwareanwendungen integriert sein würden, verglichen mit weniger als einem Prozent im Jahr 2024.[1] Salesforce brachte Agentforce auf den Markt. Microsoft integrierte die Agenten-Orchestrierung in das Copilot Studio. ServiceNow, SAP und Dutzende andere folgten. Für Unternehmen stellt sich nicht mehr die Frage, ob sie KI-Agenten einsetzen, sondern ob sie eine Governance für agentische KI etabliert haben, bevor etwas schiefgeht.

Die Brisanz ist berechtigt. Agentische KI-Systeme unterscheiden sich qualitativ von der KI, für die die meisten Governance-Frameworks konzipiert wurden. Ein Klassifikator vergibt Labels. Ein Chatbot generiert Text. Ein Agent verfolgt Ziele: Er plant mehrstufige Workflows, wählt Tools aus, führt Aktionen aus, beobachtet Ergebnisse und iteriert – oft über Dutzende von Entscheidungen hinweg mit minimalem menschlichen Eingriff. Diese operative Autonomie macht Agenten wertvoll. Sie macht sie aber auch schwer zu steuern. Die Governance agentischer KI – die Gesamtheit der Richtlinien, Kontrollen und Überwachungsmechanismen, die sicherstellen, dass autonome KI-Agenten innerhalb akzeptabler Risikogrenzen agieren – ist für Unternehmen ab sofort ein Imperativ und keine Zukunftsüberlegung mehr.

Dieser Leitfaden stellt ein praktisches Framework für die Governance agentischer KI in Unternehmen vor. Er beschreibt, was agentische KI-Systeme sind und warum sie eine eigene Governance-Behandlung erfordern, wie bestehende Vorschriften Anwendung finden, welche zentralen Governance-Kontrollen Organisationen implementieren sollten und wie diese Kontrollen operationalisiert werden können, ohne die Innovationen zu ersticken, die durch Agenten ermöglicht werden sollen.

Was agentische KI unterscheidet

Der Begriff „agentische KI“ beschreibt KI-Systeme, die in der Verfolgung von Zielen autonom handeln können, statt lediglich Ergebnisse für den menschlichen Gebrauch zu generieren. Dieser Unterschied ist wesentlich, da er das Risikoprofil grundlegend verändert.

Ein herkömmliches KI-System arbeitet nach einem Anfrage-Antwort-Muster. Ein Benutzer gibt Daten ein, das System generiert ein Ergebnis und der Benutzer entscheidet, was damit geschieht. Der Mensch bleibt bei jedem entscheidenden Schritt eingebunden. Ein agentisches System bricht dieses Muster. Es erhält ein übergeordnetes Ziel, zerlegt dieses in Teilaufgaben, wählt Tools aus und steuert diese an, um jeden Schritt auszuführen, bewertet Zwischenergebnisse und passt seinen Ansatz an – all dies mit unterschiedlichem Grad an menschlicher Aufsicht, von der vollständigen Freigabe in jeder Phase bis hin zur komplett autonomen Ausführung.

Drei Merkmale unterscheiden die agentische KI von herkömmlichen Systemen und bringen spezifische Governance-Herausforderungen mit sich.

Autonome Aktionsausführung

Agenten empfehlen nicht nur, sie handeln. Sie versenden E-Mails, führen Code aus, ändern Datenbanken, rufen APIs auf, erstellen Dateien und interagieren mit externen Diensten. Jede Aktion verändert den Zustand der realen oder virtuellen Welt auf Weisen, die nur schwer oder gar nicht rückgängig gemacht werden können. Ein falsch klassifiziertes Bild kann korrigiert werden. Eine an den falschen Empfänger gesendete E-Mail, ein überschriebener Datensatz oder eine fehlerhaft ausgeführte Finanztransaktion lassen sich nicht einfach ungeschehen machen.

Mehrstufige Argumentationsketten

Agenten agieren in komplexen Argumentationsketten, bei denen jeder Schritt auf dem vorherigen aufbaut. Eine einzige, allgemeine Anweisung – „Finde den besten Kandidaten für diese offene Position“ – kann Dutzende von Zwischenentscheidungen darüber auslösen, welche Datenbanken abgefragt werden, welche Kriterien zu gewichten sind, welche Kandidaten in die engere Auswahl kommen und wie mit ihnen kommuniziert wird. Governance-Frameworks, die für Einzelelentscheidungen konzipiert wurden, stoßen bei dieser sich potenzierenden Komplexität an ihre Grenzen.

Dynamischer Tool-Aufruf

Moderne Agenten-Architekturen erlauben es Agenten, zur Laufzeit Tools – APIs, Datenbanken, Webdienste, Code-Interpreter – zu ermitteln und aufzurufen, die bei der Konzeption oder Bewertung des Systems eventuell noch nicht vorgesehen waren. Dies macht die Risikobeurteilung und Compliance zu einem sich ständig verändernden Ziel. Die Fähigkeiten des Systems am Montag können sich erheblich von seinen Fähigkeiten am Freitag unterscheiden.

Diese drei Merkmale greifen ineinander. Ein Agent mit autonomer Aktionsausführung, der über mehrstufige Ketten hinweg agiert und dynamisch zur Laufzeit ermittelte Tools aufruft, stellt eine Governance-Herausforderung dar, die nicht nur schwieriger ist als die Steuerung eines herkömmlichen KI-Systems – sie ist strukturell anders.

Wie bestehende Regulierung greift

Ein weit verbreiteter Irrglaube besagt, dass die aktuelle KI-Regulierung agentische Systeme nicht abdeckt – dass ein neuer gesetzlicher Rahmen erforderlich sei, bevor Governance-Verpflichtungen greifen. Dies ist unzutreffend, und Organisationen, die auf „agenten-spezifische“ Regulierung warten, riskieren, gegen bereits geltendes Recht zu verstoßen.

Das EU-KI-Gesetz (EU AI Act)

Die Definition eines KI-Systems im EU-KI-Gesetz gemäß Artikel 3(1) beschreibt „ein maschinengestütztes System, das für einen in unterschiedlichem Maße autonomen Betrieb ausgelegt ist und das nach dem Inverkehrbringen oder der Inbetriebnahme eine Anpassungsfähigkeit aufweisen kann und das für explizite oder implizite Ziele aus den erhaltenen Eingaben ableitet, wie Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.“[2]

Jedes Element dieser Definition lässt sich problemlos auf agentische KI übertragen. „In unterschiedlichem Maße autonomer Betrieb“ berücksichtigt explizit das Spektrum von menschlich gesteuerter bis hin zu vollständig autonomer Arbeitsweise. „Implizite Ziele“ – obwohl primär formuliert, um Systeme zu erfassen, bei denen das Ziel durch das Design oder Training impliziert und nicht als Prompt vorgegeben wird – ist breit genug, um auch die entstehenden Teilziele abzudecken, die Agenten bei der Zerlegung übergeordneter Anweisungen verfolgen. Diese Auslegung wurde jedoch bisher weder in der Durchsetzung noch durch formelle Leitlinien des KI-Büros validiert.[3] „Entscheidungen“ erfasst die Aktionsauswahl, die Agenten bei jedem Schritt treffen. Und der „Einfluss auf physische oder virtuelle Umgebungen“ geht über die passive Texterstellung hinaus und umschließt jene umgebungsändernden Aktionen, die das agentische Verhalten definieren.

Der Zeitplan zur Durchsetzung des Gesetzes ist gestaffelt. Verbote von KI-Systemen mit unannehmbarem Risiko traten am 2. Februar 2025 in Kraft. Verpflichtungen für KI-Modelle mit allgemeinem Verwendungszweck (GPAI) gelten ab dem 2. August 2025. Das vollständige Spektrum der Pflichten für Hochrisikosysteme gemäß Anhang III tritt am 2. August 2026 in Kraft.[4] Für Organisationen, die agentische Systeme in Hochrisiko-Szenarien einsetzen, wird das Zeitfenster zur Vorbereitung immer kleiner.

Fällt ein agentisches System unter einen in Anhang III aufgeführten Hochrisiko-Anwendungsfall – Beschäftigungsentscheidungen, Kreditwürdigkeitsprüfung, Strafverfolgung, Verwaltung kritischer Infrastrukturen –, gelten die gesamten Verpflichtungen für Hochrisikosysteme. Diese umfassen Risikomanagementsysteme (Artikel 9), Daten-Governance (Artikel 10), technische Dokumentation (Artikel 11), Aufzeichnungspflichten und automatische Protokollierung (Artikel 12), Transparenz (Artikel 13), menschliche Aufsicht (Artikel 14) sowie Anforderungen an Genauigkeit, Robustheit und Cybersicherheit (Artikel 15).[5] Artikel 12 verdient besondere Beachtung: Für Systeme, deren Entscheidungen sich über mehrstufige Argumentationsketten mit dynamischen Tool-Aufrufen erstrecken, sind die Protokollierungsanforderungen technisch die anspruchsvollste und operativ die wichtigste Pflicht, die es korrekt umzusetzen gilt.

Das operative Framework des Gesetzes stößt bei agentischen Anwendungsfällen an seine Grenzen – insbesondere bei der Konformitätsbewertung für dynamische Systeme, der Verantwortungsteilung zwischen Anbieter und Betreiber beim Aufruf von Drittanbieter-Tools und der Frage, was eine „angemessene“ menschliche Aufsicht bei Systemen bedeutet, die Dutzende von Mikroentscheidungen pro Sekunde treffen.[6] Der regulatorische Rahmen ist dennoch eindeutig. Agentische KI-Systeme sind KI-Systeme im Sinne des Gesetzes, und die Pflichten gelten.

Verpflichtungen für GPAI-Modelle

Viele Unternehmens-Agenten basieren auf Modellen mit allgemeinem Verwendungszweck, die von Drittanbietern wie Anthropic, OpenAI, Google, Meta und anderen bereitgestellt werden. Das EU-KI-Gesetz erlegt Anbietern von GPAI-Modellen unter den Artikeln 51–56 spezifische Verpflichtungen auf, darunter technische Dokumentation, Transparenz bei Urheberrechtsrichtlinien und, für Modelle mit systemischen Risiken, Red-Teaming sowie die Meldung von Vorfällen.[7] Der Ende 2025 fertiggestellte GPAI-Verhaltenskodex bietet einen Compliance-Pfad für diese Pflichten.

Für Unternehmen, die diese Technologie einsetzen, ergibt sich aus dem Zusammenspiel von Pflichten des GPAI-Anbieters und eigenen Betreiberpflichten eine vielschichtige Compliance-Landschaft. Der Anbieter des Basismodells trägt bestimmte Verantwortungen, das einsetzende Unternehmen andere. Wenn ein Agenten-Framework ein GPAI-Modell, eine Orchestrierungsschicht und Drittanbieter-Tools zu einem Gesamtsystem verbindet, wird die Zuweisung von Pflichten entlang der Wertschöpfungskette zu einer eigenständigen Governance-Herausforderung – ein Punkt, auf den der folgende Abschnitt zur Multi-Stakeholder-Verantwortung direkt eingeht.

ISO/IEC 42001

Der im Dezember 2023 veröffentlichte internationale Standard für KI-Managementsysteme bietet einen Rahmen für die Einrichtung, Umsetzung und kontinuierliche Verbesserung eines KI-Managementsystems.[8] Obwohl er agentische KI nicht spezifisch thematisiert, sind seine Kontrollen rund um Risikobewertung, menschliche Aufsicht und kontinuierliche Überwachung direkt anwendbar. Organisationen, die eine ISO-42001-Zertifizierung anstreben, sollten sicherstellen, dass ihr KI-Managementsystem den Einsatz autonomer Agenten explizit abdeckt und nicht nur herkömmliche KI-Anwendungen berücksichtigt.

NIST AI Risk Management Framework

Die vier Kernfunktionen des NIST AI RMF – Steuern (Govern), Kartieren (Map), Messen (Measure), Verwalten (Manage) – bieten einen strukturierten Ansatz für das KI-Risikomanagement, der sich natürlich auf agentische Systeme übertragen lässt.[9] Die Betonung des Frameworks auf kontextbezogene Risikobewertung und kontinuierliche Überwachung ist angesichts des dynamischen Charakters des Agentenverhaltens besonders relevant. Das Begleitdokument zu Risiken generativer KI (NIST AI 600-1) adressiert mehrere Risiken, die für werkzeugnutzende Agenten relevant sind, darunter Prompt Injection und unbeabsichtigte Offenlegung von Daten.[10] Die OECD, deren Definition von KI-Systemen die Formulierung von Artikel 3(1) beeinflusst hat, arbeitet ebenfalls aktiv an Klassifizierungs-Frameworks, die den Grad der Autonomie als Dimension einbeziehen – eine Arbeit, die maßgeblich beeinflussen wird, wie sich die Evaluierung der Governance agentischer KI international entwickelt.[11]

Zukünftige bundesstaatliche und branchenspezifische Anforderungen

Das KI-Gesetz von Colorado (Colorado AI Act), das vorbehaltlich anstehender Gesetzesänderungen im Februar 2026 in Kraft tritt, verpflichtet Entwickler und Betreiber von Hochrisiko-KI-Systemen zu angemessener Sorgfalt, um algorithmische Diskriminierung bei folgenschweren Entscheidungen zu vermeiden.[12] Agentische Systeme, die Einstellungs-, Finanz-, Versicherungs- oder Wohnungsentscheidungen treffen oder substanziell beeinflussen, fallen klar in diesen Bereich. Im Finanzdienstleistungssektor gelten behördenübergreifende Leitfäden zum Modellrisikomanagement (SR 11-7 der Federal Reserve und OCC 2011-12) für KI-Agenten, die in der Risikobewertung und Entscheidungsfindung eingesetzt werden, obwohl diese für traditionelle statistische Modelle konzipiert wurden und für auf Basismodellen basierende Agenten mit autonomem Zugriff auf Tools eine sorgfältige Auslegung erfordern.[13]

Das Framework für die Governance agentischer KI

Die Steuerung agentischer KI erfordert Kontrollmechanismen, die die oben beschriebenen spezifischen Eigenschaften berücksichtigen: autonome Aktionsausführung, mehrstufige Argumentation und dynamischer Tool-Aufruf. Das hier entwickelte Framework, basierend auf der Arbeit von Enzai mit Governance-Teams in Unternehmen, gliedert diese Kontrollen in fünf Schichten: Autonomieklassifizierung, Whitelisting von Aktionen, Eskalationslogik, Rückverfolgbarkeit und kontinuierliche Überwachung. Jede Schicht baut auf der vorherigen auf.

Schicht 1: Autonomieklassifizierung

Nicht alle Agenten erfordern das gleiche Maß an Governance. Ein Agent, der Entwürfe von E-Mail-Antworten zur menschlichen Überprüfung erstellt, weist ein grundlegend anderes Risikoprofil auf als ein Agent, der Finanztransaktionen autonom ausführt. Der erste Schritt eines jeden Governance-Programms für agentische KI besteht darin, den Grad der Autonomie jedes Agenten zu klassifizieren und diese Klassifizierung den entsprechenden Kontrollmechanismen zuzuordnen.

Die Klassifizierung sollte anwendungsspezifisch und nicht modellspezifisch sein. Dasselbe Basismodell kann bei einer Implementierung als unterstützender Assistent der Stufe 1 und bei einer anderen als autonomer Agent der Stufe 3 fungieren. Governance-Verpflichtungen sind an den Einsatz gekoppelt, nicht an das Modell.

Schicht 2: Whitelisting von Aktionen und begrenzte Aktionsräume

Die effektivste Kontrolle für agentische KI ist die Einschränkung ihrer Handlungsmöglichkeiten. Anstatt zu versuchen, jeden denkbaren Fehlermodus vorherzusehen und zu verhindern, definiert das Whitelisting von Aktionen den Satz an zulässigen Handlungen eines Agenten – welche Tools er nutzen darf, welche APIs er aufrufen darf, auf welche Daten er zugreifen darf und welche Systeme er modifizieren darf.

Es handelt sich hierbei um ein reines Freigabelisten-Prinzip (Allow-List), nicht um eine Sperrliste (Deny-List). Standardmäßig ist jede Aktion verboten, die nicht explizit erlaubt wurde. Dies kehrt das typische Sicherheitsmodell von Softwaresystemen um (bei dem alles erlaubt ist, was nicht explizit verboten ist) und trägt der Realität Rechnung, dass agentische KI-Systeme Aktionen ermitteln und ausführen könnten, die von ihren Entwicklern nie vorgesehen waren.

Die praktische Umsetzung umfasst die Definition von Aktionsgrenzen auf drei Ebenen:

• Tool-Zugriff: Welche APIs, Datenbanken, Dienste und Ausführungsumgebungen der Agent aufrufen darf

• Parametereinschränkungen: Welche Eingaben der Agent an die einzelnen Tools übergeben darf (z. B. die Beschränkung eines Datenbank-Abfrage-Agenten auf reine Lesezugriffe für bestimmte Tabellen)

• Schadensbegrenzung: Schwellenwerte für den Umfang einer einzelnen Aktion (z. B. Begrenzung des finanziellen Werts von Transaktionen, die ein Agent ohne menschliche Freigabe autorisieren darf)

Ein kritischer operativer Aspekt: Whitelists müssen gepflegt werden, wenn sich die Tool-Landschaft verändert. Wenn ein Anbieter eines Basismodells ein Update bereitstellt, das das Verhalten des Modells beeinflusst, oder wenn dem potenziellen Aktionsraum eines Agenten neue Tools hinzugefügt werden, muss die Whitelist überprüft und neu validiert werden. Die Behandlung von Whitelists als statische Konfiguration anstelle eines dynamischen Governance-Instruments ist eine häufige Fehlerquelle.

Schicht 3: Eskalationslogik

Selbst innerhalb begrenzter Aktionsräume werden Agenten auf Situationen stoßen, die ihre Kompetenz oder ihre Befugnisse überschreiten. Eine effektive Governance erfordert vordefinierte Eskalationspfade – klare Regeln darüber, wann ein Agent die Kontrolle an einen Menschen zurückgeben muss, anstatt autonom weiterzuarbeiten.

Eskalationsauslöser sollten Folgendes umfassen:

• Konfidenzschwellenwerte: Wenn die Gewissheit des Agenten über seine geplante Aktion unter ein definiertes Niveau fällt

• Relevanzschwellenwerte: Wenn eine geplante Aktion vordefinierte Auswirkungsgrenzen überschreitet (Finanzwert, Anzahl betroffener Datensätze, Unumkehrbarkeit)

• Anomalieerkennung: Wenn das Verhalten des Agenten von den erwarteten Mustern abweicht

• Domänengrenzen: Wenn der Agent auf eine Aufgabe oder einen Bereich außerhalb seines klar definierten Aufgabengebiets stößt

• Fehlerbedingungen: Wenn ein Tool-Aufruf fehlschlägt oder unerwartete Ergebnisse zurückgibt

Das Design von Eskalationsmechanismen ist ebenso wichtig wie die Auslöser selbst. Die Eskalation muss für den Agenten reibungslos erfolgen (er sollte nicht durch Design-Muster dazu „motiviert“ werden, Eskalationen zu vermeiden, weil er dafür sanktioniert wird) und für den Menschen handhabbar sein (die Eskalation muss ausreichend Kontext enthalten, damit der Mensch eine fundierte Entscheidung treffen kann, ohne die gesamte Argumentationskette des Agenten mühsam rekonstruieren zu müssen).

Schicht 4: Rückverfolgbarkeit und Audit-Trails

Sowohl regulatorische Vorgaben des EU-KI-Gesetzes (Artikel 12 für Hochrisikosysteme) als auch die praktische Reaktion auf Sicherheitsvorfälle erfordern eine lückenlose Protokollierung der Agentenaktivitäten.[14] Bei agentischen Systemen bedeutet dies, dass nicht nur Ein- und Ausgaben erfasst werden müssen, sondern die gesamte Argumentationskette, die Tool-Aufrufe, die Zwischenergebnisse und die auf jeder Stufe getroffenen Entscheidungen.

Ein effektiver Audit-Trail für agentische KI sollte Folgendes aufzeichnen:

• Das ursprüngliche Ziel oder die Anweisung, die dem Agenten erteilt wurde

• Jeden einzelnen Argumentationsschritt und die Begründung für die Aktionsauswahl

• Jeden Tool-Aufruf, einschließlich des aufgerufenen Tools, der übergebenen Parameter und der empfangenen Antwort

• Ausgeführte Aktionen und deren Ergebnisse

• Eskalationsereignisse und menschliche Eingriffe

• Zustandsänderungen der Umgebung, die aus den Aktionen des Agenten resultieren

• Zeitstempel und Sitzungs-IDs zur Verknüpfung zusammenhängender Ereignisse

Diese Protokolle dienen mehreren Zwecken: der Untersuchung nach Vorfällen, der Einhaltung regulatorischer Vorgaben, der kontinuierlichen Verbesserung von Governance-Kontrollen und der Klärung der Verantwortlichkeit, falls Probleme auftreten. Sie sollten unveränderlich, mit einem Zeitstempel versehen und unabhängig vom Agentensystem selbst gespeichert werden, um Manipulationen zu verhindern.

Schicht 5: Kontinuierliche Überwachung

Eine punktuelle Bewertung – bei der ein Agent vor dem Einsatz evaluiert und davon ausgegangen wird, dass er konform bleibt – reicht bei Systemen, deren Fähigkeiten und Verhalten sich dynamisch verändern können, nicht aus. Die Governance agentischer KI erfordert eine kontinuierliche Überwachung in verschiedenen Dimensionen:

• Leistungsüberwachung: Entsprechen die Ergebnisse des Agenten den Qualitäts- und Genauigkeitsstandards?

• Verhaltensüberwachung: Bleibt das Verhalten des Agenten innerhalb der erwarteten Muster? Verschieben sich die Verteilungen der Aktionen im Laufe der Zeit?

• Compliance-Überwachung: Bleiben die Aktionen des Agenten innerhalb des zulässigen Aktionsraums? Werden Eskalationsprotokolle eingehalten?

• Fairness-Überwachung: Werden bei Agenten, die Entscheidungen über Personen treffen oder beeinflussen, faire Ergebnisse im Hinblick auf geschützte Merkmale erzielt?

• Sicherheitsüberwachung: Wird der Agent manipulativen Eingaben, Prompt-Injection-Versuchen oder anderen Angriffen ausgesetzt?

Die Überwachung sollte direkt in die Governance-Kontrollen einfließen. Wenn die Überwachung eine Anomalie feststellt – eine unzulässige Aktion, eine Verschiebung der Ergebnisverteilung, ein Muster, das auf Manipulation hindeutet –, sollte die Reaktion nach Möglichkeit automatisiert erfolgen (z. B. durch Pausieren des Agenten oder Auslösen einer Eskalation) und zur menschlichen Überprüfung dokumentiert werden.

Wer ist verantwortlich, wenn ein Agent handelt?

Eine der schwierigsten Facetten der Governance agentischer KI ist die Aufteilung der Verantwortung auf mehrere Akteure. Ein typischer Einsatz eines Agenten im Unternehmen umfasst mindestens vier Parteien: den Anbieter des Basismodells (OpenAI, Anthropic, Google, Meta oder andere), das Agenten-Framework oder die Orchestrierungsschicht (eine Drittanbieter-Plattform oder eine Eigenentwicklung), das einsetzende Unternehmen selbst sowie die Anbieter von Tools und APIs, die der Agent zur Laufzeit aufruft.

Das EU-KI-Gesetz unterscheidet primär zwischen Anbietern und Betreibern, wobei einige Bestimmungen auch Importeure und Händler betreffen.[15] Diese Zweiteilung lässt sich jedoch auf die agentische Wertschöpfungskette nur schwer anwenden. Wer ist der „Anbieter“ eines Agenten, der ein Drittanbieter-Basismodell mit einer hauseigenen Orchestrierungsschicht kombiniert, die wiederum externe APIs aufruft? Artikel 25 befasst sich mit Situationen, in denen Dritte KI-Systeme modifizieren oder zweckentfremden und dadurch potenziell selbst zu Anbietern werden. Die Abgrenzungen bei sich dynamisch zusammensetzenden Systemen bleiben jedoch unscharf.[16]

Diese Fragmentierung birgt zudem ein Lieferkettenrisiko bei Basismodellen, das viele Organisationen unterschätzen. Wenn ein Modellanbieter ein Update einspielt – eine neue Modellversion, veränderte Sicherheitsfilter, geänderte Verhaltensmuster –, greifen die zuvor validierten Governance-Kontrollen möglicherweise nicht mehr. Whitelists für Aktionen, Eskalationsgrenzen und Compliance-Bewertungen basieren alle auf einer bestimmten Verhaltenslinie des Modells. Ein stillschweigendes Modell-Update kann diese Annahmen hinfällig machen, ohne dass aufseiten des Betreibers Änderungen vorgenommen wurden.

Eine praxisnahe Governance muss diese Fragmentierung berücksichtigen. Unternehmen, die agentische KI einsetzen, sollten:

• Die vollständige Wertschöpfungskette für jeden Agenten-Einsatz dokumentieren und alle Akteure sowie deren Governance-Pflichten identifizieren

• Vertragliche Vereinbarungen mit Tool- und API-Anbietern treffen, die den Datenumgang, Haftungsfragen und die Reaktion auf Vorfälle regeln

• Eine klare interne Verantwortungsstruktur etablieren: Wer ist für welchen Agenten zuständig, wer übernimmt die Überwachung und wer hat die Berechtigung, einzugreifen oder das System abzuschalten?

• Versions-Pinning und Change-Management-Prozesse für Basismodelle einführen, inklusive Re-Validierungsschleifen bei Updates durch die Anbieter

• Die Zuweisung von Verantwortlichkeiten so dokumentieren, dass sie einer behördlichen Prüfung standhält

Reaktion auf Vorfälle bei agentischer KI

Bei Governance geht es nicht nur darum, Fehler zu verhindern. Es geht darum, effektiv zu reagieren, wenn sie auftreten. Agentische KI-Systeme erfordern Vorfallsreaktionspläne, die ihrer autonomen und mehrstufigen Natur gerecht werden.

Ein Reaktionsplan für Vorfälle bei agentischer KI sollte Folgendes umfassen:

• Notausschalter (Kill Switches): Die Möglichkeit, die Ausführung eines Agenten sofort zu stoppen, ihm den Zugriff auf Tools zu entziehen und weitere Aktionen zu blockieren. Dies muss technisch zuverlässig (unabhängig von der Kooperation des Agenten) und für autorisiertes Personal innerhalb von Sekunden ausführbar sein

• Rollback-Prozeduren: Wo immer möglich, vordefinierte Prozesse zur Rückgängigmachung von Aktionen, die durch einen Agenten ausgeführt wurden. Nicht alle Aktionen lassen sich rückgängig machen – daher sind die oben beschriebenen lückenlosen Audit-Trails und Auswirkungsgrenzen entscheidend, um den Schadensradius zu begrenzen

• Meldepflichten: In regulierten Branchen können bestimmte Agentenfehler Meldepflichten auslösen. Im Finanzsektor können nicht autorisierte Transaktionen eine behördliche Meldung innerhalb weniger Stunden erfordern. Nach dem EU-KI-Gesetz müssen schwerwiegende Vorfälle mit Hochrisiko-KI-Systemen den Marktüberwachungsbehörden gemeldet werden

• Ursachenanalyse (Root Cause Analysis): Die Untersuchung nach einem Vorfall sollte mithilfe des im Rahmen von Schicht 4 erstellten Audit-Trails die gesamte Argumentationskette vom ursprünglichen Ziel über jeden Tool-Aufruf und jede Entscheidung bis hin zum Fehlerpunkt zurückverfolgen

Die Planung der Vorfallsreaktion sollte vor dem ersten Live-Einsatz erfolgen, nicht erst nach dem ersten Fehler. Simulationen, bei denen Ausfälle von Agenten durchgespielt werden – etwa das Überschreiten einer Whitelist-Grenze, eine fehlgeschlagene Eskalation oder eine manipulierte Antwort eines Tools –, helfen Teams, die unter Druck erforderlichen Abläufe zu verinnerlichen.

Operationalisierung der Governance agentischer KI

Governance-Frameworks sind nur dann wertvoll, wenn sie sich operationalisieren lassen – also in der Praxis umgesetzt werden können, ohne so hohe Hürden aufzubauen, dass sie die durch Agenten erstrebte Innovation ausbremsen. Mehrere Prinzipien helfen, die Lücke zwischen Theorie und Praxis zu schließen.

Governance in den Lebenszyklus des Agenten integrieren

Governance sollte kein separater Prozess sein, der parallel zur Entwicklung und zum Einsatz von Agenten läuft. Sie sollte fest in den Entwicklungszyklus verankert werden: Autonomieklassifizierung in der Designphase, Whitelisting von Aktionen während der Entwicklung, Testen der Eskalationslogik vor dem Deployment und kontinuierliche Überwachung im Produktivbetrieb. Dies entspricht dem „Shift-Left“-Prinzip aus der IT-Sicherheit: Governance von Anfang an mitdenken, statt sie nachträglich aufzusetzen.

Governance-Kontrollen automatisieren

Manuelle Governance-Prozesse können mit Agenten, die in Maschinengeschwindigkeit agieren, nicht Schritt halten. Das Whitelisting von Aktionen sollte programmatisch erzwungen werden und nicht über Richtliniendokumente. Eskalationsauslöser müssen automatisch anspringen und dürfen nicht auf der manuellen Auswertung von Protokollen basieren. Compliance-Prüfungen sollten als automatisierte Abschnitte in den CI/CD-Pipelines verankert sein, um Entwicklerteams klare Rückmeldungen zu geben, anstatt manuelle Compliance-Formulare ausfüllen zu lassen.

Governance in das KI-Inventar integrieren

Jedes agentische KI-System sollte in einem zentralen KI-Inventar erfasst werden. Dieses dokumentiert die Autonomieklassifizierung, den zulässigen Aktionsraum, die Eskalationsprotokolle, die Konfiguration der Überwachung, die zugewiesenen Verantwortlichkeiten und die Version des genutzten Basismodells. Dieses Inventar ist das Fundament des Governance-Programms – ohne es kann ein Unternehmen grundlegende Fragen darüber, welche Agenten wo im Einsatz sind, was sie tun dürfen und wer für sie verantwortlich ist, nicht beantworten.

Pragmatische Abfolge bei der Implementierung

Unternehmen, die Dutzende von Agenten einsetzen, können nicht alle fünf Governance-Schichten für jeden Einsatz gleichzeitig implementieren. Ein bewährter, pragmatischer Ansatz sieht wie folgt aus:

1. Mit dem Inventar beginnen. Man kann nur steuern, was man sieht. Erfassen Sie jeden im Einsatz befindlichen Agenten, einschließlich informeller Lösungen („Schatten-KI“), die von einzelnen Teams aufgesetzt wurden.

2. Autonomiestufen klassifizieren. Ordnen Sie jeden Agenten einer Stufe zu. Dies bestimmt die Verhältnismäßigkeit aller nachfolgenden Kontrollen.

3. Aktions-Whitelists zuerst für Agenten der Stufen 3 und 4 implementieren. Diese tragen das höchste Risiko und profitieren am meisten von klar begrenzten Aktionsräumen.

4. Audit-Trails von Tag eins an aufbauen. Die Protokollierung ist die kostengünstigste Maßnahme bei der frühen Implementierung und die teuerste bei einer nachträglichen Integration.

5. Kontinuierliche Überwachung mit zunehmender Reife etablieren. Beginnen Sie mit der Compliance-Überwachung (bleibt der Agent innerhalb seiner Whitelist?) und weiten Sie diese im Laufe der Zeit auf Verhaltens- und Fairness-Analysen aus.

Governance als Wettbewerbsvorteil verstehen

Organisationen, die Governance ausschließlich als Compliance-Kosten betrachten, werden zu wenig in diesen Bereich investieren und Widerstände in ihren Software-Teams hervorrufen. Sinnvoller ist es, Governance als Grundvoraussetzung für Skalierung zu begreifen. Ohne systematische Kontrollen bleibt der Einsatz von Agenten auf risikoarme, wertschöpfungsarme Szenarien beschränkt, da das Unternehmen für anspruchsvollere Aufgaben keine ausreichende Kontrollfähigkeit nachweisen kann. Governance ermöglicht es Unternehmen erst, von vorsichtigen Pilotprojekten zu produktiven Implementierungen mit echter geschäftlicher Hebelwirkung überzugehen.

Was als nächstes bei der Regulierung agentischer KI ansteht

Die regulatorische Landschaft für die Governance agentischer KI wird sich in den nächsten zwei Jahren rasant entwickeln. CEN und CENELEC erarbeiten im Rahmen des Gemeinsamen Technischen Komitees 21 harmonisierte Standards unter dem EU-KI-Gesetz, wobei das Mandat im Juni 2025 angepasst wurde, um die Standardisierung zu beschleunigen.[17] Diese Standards müssen konkretisieren, wie eine angemessene menschliche Aufsicht für hochautonome Systeme aussieht – durch begrenzte Aktionsräume, strukturierte Kontrollpunkte, Audit-Trails und Interventionsmöglichkeiten –, ohne an jeder Stelle einen permanenten menschlichen Zwischenschritt einzufordern.

Die Europäische Kommission hat die Befugnis, die Liste der Hochrisiko-Anwendungsfälle in Anhang III durch delegierte Rechtsakte anzupassen, sobald spezifische Risiken für Agenten auftreten, ohne dass ein vollständiges Gesetzgebungsverfahren durchlaufen werden muss.[18] Leitlinien der Kommission können zudem klären, wie die Aufteilung zwischen Anbieter und Betreiber auf agentische Wertschöpfungsketten anzuwenden ist und wann der Aufruf eines Tools zur Laufzeit als „wesentliche Veränderung“ gemäß Artikel 3(23) gilt. Verhaltenskodizes gemäß Artikel 56 bieten ein weiteres Instrument, um agentenspezifische Risiken auf der Ebene der GPAI-Modelle zu adressieren – etwa durch Steuerungsfunktionen, Protokollierung der Tool-Nutzung und Einschränkungen des Aktionsraums.[19]

Branchenverbände wie die IAPP und die OECD arbeiten aktiv an Governance-Leitlinien für autonome KI.[20] ISO/IEC JTC 1/SC 42 baut die Normenreihe ISO 42000 für KI kontinuierlich aus. Es ist zu erwarten, dass mit zunehmender Marktreife auch spezifische Standards für agentische Systeme definiert werden.

Unternehmen, die auf diese Standards und Leitlinien warten, bevor sie aktiv werden, riskieren, Governance nachträglich in laufende Agenten-Anwendungen integrieren zu müssen – ein teures und störendes Unterfangen. Der klündere Weg ist es, die Governance-Infrastruktur jetzt aufzubauen und sie anzupassen, sobald sich die rechtlichen und normativen Vorgaben konkretisieren.

Die Steuerung agentischer KI ist eine reale Herausforderung, aber sie ist nicht beispiellos. Unternehmen haben bereits andere komplexe, autonome und risikoreiche Systeme erfolgreich gesteuert – vom algorithmischen Handel über autonome Fahrzeuge bis hin zur robotergesteuerten Prozessautomatisierung. Die Prinzipien bleiben dieselben: Risiken klassifizieren, Aktionen begrenzen, Eskalationen vorschreiben, Rückverfolgbarkeit gewährleisten und kontinuierlich überwachen. Neu sind die Geschwindigkeit, mit der agentische KI eingeführt wird, und die Breite der Unternehmensfunktionen, die sie berührt.

Die Implementierung dieser fünf Governance-Schichten über Dutzende von Agenten-Anwendungen hinweg – jede mit unterschiedlichen Autonomiestufen, Tool-Zugriffen und regulatorischen Auflagen – ist ebenso ein Infrastrukturproblem wie eine Compliance-Aufgabe. Bei Enzai ist der Aufbau genau dieser Infrastruktur – von der Autonomieklassifizierung über das Whitelisting von Aktionen bis hin zur kontinuierlichen Überwachung und Erfüllung regulatorischer Vorgaben wie des EU-KI-Gesetzes, der ISO 42001 und des NIST AI RMF – die Kernaufgabe unserer Plattform. Um mehr zu erfahren, buchen Sie eine Demo.

Enzai ist die führende Plattform für die KI-Governance in Unternehmen, speziell entwickelt, um Organisationen beim Übergang von abstrakten Richtlinien zur operativen Aufsicht zu unterstützen. Unsere Plattform für das KI-Risikomanagement bietet die spezialisierte Infrastruktur, die erforderlich ist, um die Governance agentischer KI zu steuern, ein umfassendes KI-Inventar zu pflegen und die Konformität mit dem EU-KI-Gesetz sicherzustellen. Durch die Automatisierung komplexer Workflows ermöglicht Enzai es Unternehmen, KI-Technologien mit Vertrauen zu skalieren und gleichzeitig die Ausrichtung an globalen Standards wie ISO 42001 und NIST zu wahren.

Quellen

[1] Gartner, „Agentic AI: The Next Frontier of Enterprise AI“, Oktober 2024. Gartner prognostizierte, dass agentische KI-Funktionen bis 2028 in 33 % der Unternehmenssoftwareanwendungen integriert sein werden.

[2] Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates, Artikel 3(1). Amtsblatt der Europäischen Union, Reihe L, 12. Juli 2024.

[3] Die interpretative Leitlinie der Europäischen Kommission zur Definition von KI-Systemen (veröffentlicht 2025) liefert zusätzlichen Kontext, hat sich jedoch nicht spezifisch mit der Entstehung von Teilzielen in agentischen Systemen befasst.

[4] Verordnung (EU) 2024/1689, Artikel 113–114 (Inkrafttreten und Geltungsbeginn).

[5] Verordnung (EU) 2024/1689, Kapitel III, Abschnitt 2, Artikel 9–15.

[6] Für eine detaillierte Analyse dieser operativen Herausforderungen siehe Enzai, „The EU AI Act Bends. It Need Not Break“, März 2026.

[7] Verordnung (EU) 2024/1689, Kapitel V, Artikel 51–56 (Pflichten für Anbieter von GPAI-Modellen).

[8] ISO/IEC 42001:2023, Information technology – Artificial intelligence – Management system. Internationale Organisation für Normung, Dezember 2023.

[9] NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, Januar 2023.

[10] NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, NIST AI 600-1, Juli 2024.

[11] OECD, „OECD Framework for the Classification of AI Systems“, OECD Digital Economy Papers No. 323, Februar 2022. Die OECD-KI-Prinzipien wurden im Mai 2024 aktualisiert.

[12] Colorado SB 24-205, Concerning Consumer Protections for Artificial Intelligence, unterzeichnet im Mai 2024. Ursprünglicher Geltungsbeginn 1. Februar 2026; vorbehaltlich anstehender Gesetzesänderungen.

[13] Board of Governors of the Federal Reserve System, SR Letter 11-7, „Supervisory Guidance on Model Risk Management“, April 2011; Office of the Comptroller of the Currency, OCC 2011-12.

[14] Verordnung (EU) 2024/1689, Artikel 12 (Aufzeichnungspflichten / automatische Protokollierung für Hochrisiko-KI-Systeme).

[15] Verordnung (EU) 2024/1689, Artikel 16 (Pflichten der Anbieter) und 26 (Pflichten der Betreiber).

[16] Verordnung (EU) 2024/1689, Artikel 25 (Pflichten anderer Parteien entlang der KI-Wertschöpfungskette).

[17] Standardisierungsauftrag M/593 der Europäischen Kommission an CEN und CENELEC, geändert im Juni 2025; CEN-CENELEC JTC 21 Arbeitsprogramm.

[18] Verordnung (EU) 2024/1689, Artikel 7 (Änderungen an Anhang III).

[19] Verordnung (EU) 2024/1689, Artikel 56 (Verhaltensregeln für GPAI-Modelle).

[20] IAPP AI Governance Center; OECD AI Policy Observatory, oecd.ai; ISO/IEC JTC 1/SC 42 Arbeitsprogramm.