1つのAIエージェントを手動で管理することは容易です。しかし、それが10体、100体、あるいは1000体となった場合はいかがでしょうか。

静的モデルによるAIガバナンスは、AIが回答を提示し、人間がそれをどう扱うかを決定することを前提としています。これに対し、エージェント型AIは人間による介入を排除し、システムが自律的に行動できるようにします。その結果、次の4つの変化が生じます。

• リスクの分解方法が変わります。 静的モデルのリスクはモデル単位（このモデルは確度YでXを生成する）で発生します。これに対し、エージェントのリスクは「アクション単位 × コンテキスト単位」で発生します。すなわち、同じエージェントが同じツールを呼び出す場合でも、あるコンテキストでは安全であり、別のコンテキストではポリシー違反となる可能性があります。

  
  

• 監視は事後対応ではなく、予防的である必要があります。 エージェントがすでにメールを送信し、コードをコミットし、または顧客への返金を処理した後にアウトプットを確認するのでは手遅れです。重要なのは、エージェントがすでに行ったことに対して評価を下すことではなく、エージェントが実行できる行動を事前に制限することです。

  
  

• 監査の対象が変わります。 静的モデルの監査では「モデルは何を生成したか、そしてそれは適切であったか」を検証します。一方、エージェントの監査では「エージェントは何を実行したか、何を試み、何がブロックされ、何がエスカレーションされたか」を検証します。

  
  

• 障害パターンは単発ではなく、再帰的になります。 マルチエージェントシステムでは、ループによる障害（エージェントAがエージェントBを呼び出し、Bが再びAを呼び出すなど）が発生します。静的モデルのフレームワークでは、こうした障害モードをモデル化することはできません。