Einen einzelnen KI-Agenten manuell zu verwalten, ist einfach. Aber wie verhält es sich mit zehn, einhundert oder eintausend?

Bei einer statischen KI-Governance wird davon ausgegangen, dass die KI Ihnen eine Antwort liefert und ein Mensch entscheidet, was damit zu tun ist. Agentische KI (Agentic AI) schließt diesen Menschen aus dem Prozess aus und lässt das System agieren. Daraus ergeben sich vier wesentliche Änderungen:

• Risiken verteilen sich anders. Das Risiko bei statischen Modellen bezieht sich auf das jeweilige Modell (dieses Modell liefert X mit der Konfidenz Y). Das Risiko bei Agenten summiert sich pro Aktion × pro Kontext – derselbe Agent, der dasselbe Tool aufruft, kann in dem einen Kontext sicher sein, in einem anderen jedoch eine Sicherheitsverletzung darstellen.

  
  

• Oversight muss präventiv und darf nicht reaktiv sein. Das nachträgliche Lesen der Ausgabe ist zu spät, wenn der Agent die E-Mail bereits gesendet, den Code festgeschrieben oder dem Kunden das Geld zurückerstattet hat. Sie müssen einschränken, was der Agent tun darf; Sie bewerten nicht das, was er bereits getan hat.

  
  

• Die Frage der Auditierung ändert sich. Beim Audit statischer Modelle wird gefragt: „Was hat das Modell erzeugt und war es korrekt?“ Beim Audit von Agenten wird gefragt: „Was hat der Agent getan, was hat er versucht zu tun, was wurde blockiert und was wurde eskaliert?“

  
  

• Fehlermuster sind rekursiv, nicht einmalig. Multi-Agenten-Systeme scheitern in Schleifen – Agent A ruft Agent B auf, der wiederum Agent A aufruft. Statische Frameworks können diese Fehlerzustände nicht abbilden.