説明可能性（Explainability）は、あらゆるAIシステムの信頼性を高める上で極めて重要な要素です。また、法的要件としても急速に義務化が進んでいます。しかし、生成AIシステムの仕組みを理解し、説明することは極めて困難であることで知られています。

責任あるAIの導入をリードする先進的な組織は、AIの説明可能性に対して、すでに多大なリソースを投入しています。JPモルガンは、Explainable AI Center of Excellence（説明可能なAIの卓越した研究拠点）を設立し、公平性、説明責任、コンプライアンスといった他分野の取り組みを推進するためのリソースを配置しています。米国国防高等研究計画局（DARPA）も、医療や交通といった領域におけるAIの説明可能性向上に向けた大規模な取り組みを主導してきました。

では、AIの説明可能性とは何であり、組織は生成AIシステムにおいてこの課題にどのように取り組むべきなのでしょうか。

説明可能性とは何か？

米国国立標準技術研究所（NIST）のAIリスクマネジメントフレームワークでは、説明可能性を「AIシステムの運用の背景にあるメカニズムを表現すること」と定義しています。つまり、AIの説明可能性における核心的な問いは、「なぜこのAIシステムはそのような出力を提供したのか？」、より具体的には「モデルとデータの組み合わせが、なぜ特定の出力を生み出したのか？」という点にあります。

AIの説明可能性を必要とする対象（オーディエンス）は、多岐にわたります。これには、AIシステムの開発者、導入組織、人間のオペレーター、販売者・購入者、コンプライアンスチーム、規制当局、影響を受けるエンドユーザー、そして一般市民が含まれます。これらのオーディエンスは、それぞれ異なる詳細レベルでのコミュニケーションを求めるのが一般的です。

これらの説明の根底には、より技術的な概念である「解釈可能性（interpretability）」が存在します。説明可能性が「なぜ（Why）」であるとするならば、解釈可能性は「どのように（How）」に相当します。

銀行ローンの事例

銀行がAIシステムを使用してローンの申請を承認または却下する例を考えてみましょう。米国では、ローンを却下する場合、銀行は申請者に対してその決定理由を説明する義務があります。この説明の目的は、正確な情報が銀行の意思決定プロセスに沿って使用されたことを示すことにあります。また、これにより申請者は、不正確な情報を訂正したり、プロセスの厳格さに異議を唱えたりする機会を得ることができます。

ローンの申請者にとっては、「信用スコアが自動承認の基準値に20ポイント不足しており、さらに、提示された資産が担保として8,000ドル不足していました」といった、明確に伝えられた情報のほうが理解しやすいでしょう。

しかし、このような明確な説明を提供するためには、銀行のデータ・AIチームが、データ入力とAIシステムを構成するモデルがどのように出力に結びつくのかを理解している必要があります（AIの解釈可能性）。これには、モデルやデータセットがどのように開発され、そのライフサイクルを通じてどのようなガバナンスが適用されてきたかを把握することが求められます。

生成AIにおける説明可能性

生成AIシステムは、膨大なデータを学習して処理する巨大なニューラルネットワークに基づいているため、その仕組みを理解し説明することは非常に困難です。最も強力な生成AIシステムを開発している企業でさえ、特定のプロンプトが入力された際に、システムがなぜ不正確な出力を生成してしまうのかを完全に説明することに苦慮しています。

研究者たちはこの課題に対してさまざまなアプローチを採用しており、学者たちによってこれらのアプローチの調査が進められています。例えば、リヒテンシュタイン大学のヨハネス・シュナイダー（Johannes Schneider）氏は、生成AIシステムにおける説明可能性研究のアプローチに関するタクソノミー（分類法）を構築しました。

実務担当者にとっての意義

組織内のリーダーは、自社のユースケース、その影響の重大さ、そして規制上の要件を最もよく理解しています。これらの考慮事項に基づいて、生成AIの説明可能性向上に向けた取り組みの目標を決定すべきです。特定の医療や金融のユースケースのように、リスクが高い領域であるほど、求められる基準もより高くなります。

AIシステムの説明可能性を実現するための大前提として、部門横断的に連携し、各AIシステムのライフサイクル全体を通じて高品質な文書を作成・維持することが不可欠です。さらに、組織の一般的なAIユースケースに関連する生成AI説明可能性の手法を継続的に監視し、導入できる体制を整えることが重要です。

‍Enzaiがサポートいたします

EnzaiのAI GRCプラットフォームは、EU AI法、コロラド州AI法、NIST AI RMF、ISO/IEC 42001などの最新の規制、標準、フレームワーク、およびベストプラクティスに準拠したAI導入を支援します。詳細については、こちらからお問い合わせください。

Enzaiは、抽象的なポリシーから実践的な運用管理への移行を支援するために設計された、市場をリードするエンタープライズ向けAIガバナンスプラットフォームです。当社のAIリスク管理プラットフォームは、エージェンティックAIのガバナンスを管理し、包括的なAIインベントリを維持し、EU AI法への準拠を確実にするために必要な専用インフラを提供します。複雑なワークフローを自動化することで、Enzaiは企業が ISO 42001 や NIST などの世界基準との整合性を維持しながら、自信を持ってAIの導入規模を拡大できるよう支援します。