用語集
更新日
AIリスク管理とは？
AIリスク管理とは、どのAIリスクを受容、低減、共有、回避するかを決めるために組織が回し続けるサイクルです。社内で開発したもの、ベンダーから購入したもの、既存ツールの新機能として加わったものを問わず、使用中のすべてのAIシステムが対象です。ローンチ前に一度だけ行うものではなく、システムのライフサイクル全体を通じて続けます。AIは使われる中で変化するためです。モデルは更新され、データにはドリフトが生じ、利用者はツールの新しい使い方を見つけていきます。
主な手順は？
多くのプログラムは同じ順序で進みます。第一に、自社にどのようなAIがあるかを把握します。その土台となるのが、システムごとにオーナーを定めたAIインベントリです。第二に、各システムを用途と影響度で分類し、害が生じる可能性が最も高いところに労力を集中させます。第三に、その用途に伴うリスクを特定します。誤った出力、不公平な扱い、データ漏えい、セキュリティ攻撃、ベンダーに起因する障害などです。
第四に、コントロールを講じる前の段階で、各リスクを発生可能性と影響度で評価し、固有リスクを算出します。第五に、対応策を選びます。コントロール、人によるレビュー、利用の制限、あるいは導入の見送りです。第六に、改めて評価して残留リスクを算出し、権限を持つ責任者がそれを受容します。最後に、システムを監視し、重要な変化があれば評価をやり直します。
AIリスク管理を扱うフレームワークは？
2023年1月に公表されたNIST AIリスクマネジメントフレームワークは、取り組みをGOVERN、MAP、MEASURE、MANAGEの4つの機能に整理しています。その生成AIプロファイル（NIST AI 600-1、2024年7月）は、生成AIが生み出す、あるいは悪化させる12のリスクを示しています。ISO/IEC 23894はISO 31000を基盤としたAIリスク管理の指針を示し、ISO/IEC 42001は、認証可能なマネジメントシステムの一部として、AIリスクアセスメント、AIリスク対応、AIシステム影響評価を求めています。
EU AI Actの第9条は、高リスクAIシステムの提供者に対し、システムのライフサイクル全体にわたってリスク管理システムを運用するよう求めています。附属書IIIに掲げられた用途については、この義務は2027年12月2日から適用されます。
モデルリスク管理との違いは？
モデルリスク管理は銀行業界で発展したもので、モデルが健全で目的に適っているかを問います。AIリスク管理はそれを含み、さらに広い範囲を扱います。ベンダーのAIや既存製品に組み込まれたAI、従業員が承認なしに使うツール、アクションを実行するエージェント、そして複数の法律に同時に基づく義務です。米国では、2026年4月17日にSR 11-7に代わったSR 26-2が生成AIとエージェント型AIを適用範囲外としているため、銀行にはそれらのシステムを統制する別の方法が必要です。
うまく機能させるには？
ポイントは3つあります。各リスクに、それを受容する権限を持つオーナーがいること。リスクが1つのリスク台帳にまとまっており、セキュリティ、プライバシー、法務が同じ問題を三者三様に評価せずに済むこと。そして、各対応策にエビデンスが紐づいており、監査でも評価の根拠を示せることです。
Enzaiでは、各リスク低減策の進捗を未着手から完了まで追跡し、エビデンスを添付したうえで、対応前と対応後のリスク評価と並べて管理できます。詳しくはAIリスクとコンプライアンスをご覧ください。
例
ある地方銀行が、大規模言語モデルを使って顧客からの苦情への返信文案を作成する計画を立てています。同行はこのシステムをインベントリに登録し、個人データを扱う顧客向けシステムとして分類します。評価の結果、主なリスクが3つ見つかります。顧客の口座に関する誤った記述、個人データがモデル提供元に渡ること、そして行為規制に違反する返信です。3つとも、コントロールを講じる前の評価は「高」です。同行は、返信を送る前に必ず人がレビューする手順、提供元が同行のデータを学習に使うことを禁じる契約条項、送信済み返信のサンプルを毎月確認する仕組みを導入します。残留リスクの評価は「中」と「低」に下がり、苦情対応の責任者がこれを受容します。以降、モデルのバージョンが変わるたびにシステムを再評価します。