Last updated:
Die Steuerung autonomer KI-Systeme, die unabhängig agieren können (z.B. Transaktionen, Code-Bereitstellung), unterscheidet sich von voraussschauender KI (die Einblicke bietet) und generativer KI (die Inhalte erstellt).
Im Gegensatz zur standardmäßigen KI-Governance, die sich auf Modellgenauigkeit, Verzerrungen und Inhaltsmoderation konzentriert, fokussiert sich Agentic Governance auf Berechtigungen und operative Grenzen. Sie adressiert das „aktive Risiko“ von Agenten – Systemen, die mit der realen Welt interagieren können. Zu den zentralen Kontrollen gehören Mechanismen für „sinnvolle menschliche Kontrolle“, automatisierte Notabschaltungen und „Berechtigungs“-Architekturen, die die Befugnisse eines Agenten (z. B. Nur-Lesezugriff vs. Schreibzugriff) auf Grundlage seines Risikoniveaus begrenzen.
Real world example:
Ein Finanzdienstleistungsunternehmen setzt einen autonomen Kundenservice-Agenten ein, der zur Bearbeitung von Rückerstattungen autorisiert ist. Agentische Governance-Protokolle begrenzen den Agenten auf einen maximalen Rückerstattungsbetrag von 50 $ pro Transaktion. Wenn der Agent aufgrund einer Halluzination oder eines Fehlers versucht, eine Rückerstattung über 5.000 $ zu verarbeiten, blockiert die Governance-Ebene (die „Leitplanke“) die Aktion automatisch und kennzeichnet sie zur menschlichen Überprüfung, wodurch finanzielle Verluste verhindert werden.
