Glossar
Aktualisiert
Wie unterscheidet es sich von der Governance von Modellen?
Die Governance eines prädiktiven oder generativen Modells konzentriert sich auf die Qualität seiner Ergebnisse: Genauigkeit, Verzerrung, Erklärbarkeit und die Sicherheit der Inhalte. Ein Agent fügt eine zweite Ebene hinzu, nämlich das Verhalten. Er wählt seine eigenen Schritte aus, ruft Werkzeuge auf und ändert den Zustand in relevanten Systemen. Die Governance-Fragen verlagern sich darauf, was der Agent berühren darf, was er ohne Rückfrage tun kann, wie weit er gehen darf, bevor eine Person eingreifen muss, und welche Protokolle im Nachhinein existieren. Ein Modell, das eine falsche Antwort liefert, führt zu einer Fehlentscheidung; ein Agent, der falsch handelt, führt eine fehlerhafte Transaktion vollständig aus.
Welche Kontrollen sind spezifisch für Agenten?
Vier Kategorien leisten hierbei die Hauptarbeit. Die Autonomie-Klassifizierung legt fest, wie viel Unabhängigkeit ein bestimmter Agent besitzt: von der bloßen Empfehlung über das Handeln nach Bestätigung bis hin zum eigenständigen Handeln. Die Aktionsberechtigung definiert die spezifischen Operationen, die ein Agent ausführen darf, und die Systeme, auf die er zugreifen kann. Diese sind in der Regel enger gefasst als die menschliche Rolle, die er übernommen hat. Eskalation und Schwellenwerte legen die Bedingungen fest, die eine menschliche Entscheidung erzwingen, wie beispielsweise monetäre Werte, das Konfidenzniveau oder eine unbekannte Situation. Die Aktionsprotokollierung erfasst jeden Werkzeugaufruf und jede Zustandsänderung, sodass das Verhalten später rekonstruiert werden kann.
Woher stammen die regulatorischen Erwartungen?
Es gibt kein einzelnes Gesetz für agentische KI; die Erwartungen setzen sich vielmehr aus verschiedenen Quellen zusammen. Der EU AI Act findet durch seine Risikoklassifizierung sowie seine Transparenz- und menschlichen Aufsichtspflichten Anwendung. Singapurs IMDA hat im Januar 2026 ein Model AI Governance Framework für agentische KI veröffentlicht. Im US-Bankenwesen verfolgt SR 26-2 den gegenteiligen Ansatz und klammert agentische KI aus, was den Unternehmen die Verantwortung überlässt, ihren eigenen Standard zu definieren und diesen zu verteidigen. Auf der Sicherheitsseite bietet die OWASP Top 10 für agentische Anwendungen ein gemeinsames Risiko-Vokabular.
Was macht Multi-Agenten-Systeme komplexer?
Sobald Agenten andere Agenten aufrufen, greifen mehrere Annahmen nicht mehr. Autorität wird transitiv, sodass ein Agent mit eingeschränkten Rechten durch die Anfrage an einen anderen Agenten mit umfassenderen Rechten eine größere Reichweite erlangen kann. Fehler pflanzen sich fort, und ein fehlerhaftes Ergebnis zu Beginn einer Kette wird von allen nachgelagerten Instanzen als Tatsache behandelt. Die Zuordnung wird schwierig, da die Rekonstruktion, welcher Agent ein bestimmtes Ergebnis verursacht hat, korrelierte Protokolle über alle beteiligten Agenten hinweg erfordert. Die Governance muss daher auf Systemebene und nicht isoliert auf dem einzelnen Agenten operieren, mit einer Identität, die über Aufrufe hinweg transportiert wird, und einer lückenlosen Rückverfolgbarkeit über die gesamte Kette hinweg.
Was sollte vor der Bereitstellung vorhanden sein?
Ein registrierter Eintrag für den Agenten im KI-Inventar mit einem benannten Verantwortlichen. Eine schriftliche Zweckerklärung und die zulässigen Aktionen. Eine Autonomiestufe mit den Eskalationsbedingungen, die diese außer Kraft setzen. Zugriffsdaten, die auf den Agenten selbst zugeschnitten sind und nicht von einer Person übernommen wurden. Eine Protokollierung, die ausreicht, um zu beantworten, was der Agent getan hat und warum. Ein definierter Notausschalter und eine für dessen Betätigung verantwortliche Person. Die meisten Vorfälle mit Agenten lassen sich darauf zurückführen, dass einer dieser Punkte fehlte, und nicht auf ein Versagen des zugrunde liegenden Modells.
Beispiel
Ein Beschaffungsteam setzt einen Agenten ein, der Lieferantenrechnungen prüft, sie mit Bestellungen abgleicht und die Zahlung freigibt. Er ist so konfiguriert, dass er ab einem Betrag von 2.500 Pfund nur nach Bestätigung handelt, darunter jedoch selbstständig agiert. Seine Datenbank-Anmeldedaten sind individuell und darauf beschränkt, Bestellungen zu lesen und Zahlungsfreigaben zu schreiben, ohne Zugriff auf Bankverbindungen der Lieferanten. Jede Unstimmigkeit, die er nicht auflösen kann, wird an einen namentlich genannten Genehmiger eskaliert. Jede Prüfung und Freigabe wird mit der Rechnungsnummer und der angewendeten Regel protokolliert. Wenn ein Lieferant eine Rechnung einreicht, in deren Beschreibungsfeld Anweisungstext eingebettet ist, verhindert die Trennung von abgerufenen Inhalten und Anweisungen durch den Agenten eine Zweckentfremdung des Ziels (Goal Hijacking), und der Versuch wird im Protokoll für das Sicherheitsteam erfasst.