AIシステムの信頼性において、説明可能性は重大な考慮事項です。さらに、それは法的要件でもあります。しかし、生成AIシステムの動作を理解し、説明することは非常に困難です。

責任あるAI導入の最前線にいる組織は、AIの説明可能性に多大なリソースを費やしています。JPモルガンは、他の分野での努力、例えば公平性、アカウンタビリティ、コンプライアンスを支える説明可能AIの卓越センターを設立し、リソースを充てています。米国国防総省の研究開発機関であるDARPAは、医学や交通などの分野でAIの説明可能性を向上させるための主要な取り組みを主導しています。

では、AIの説明可能性とは何か、生成AIシステムに対してどのようにアプローチすべきでしょうか?

説明可能性とは何か?

NIST AIリスク管理フレームワークは、説明可能性を「AIシステムの運用を支えるメカニズムの表現」と定義しています。したがって、AIの説明可能性における重要な問いは「なぜAIシステムは特定の結果を提供したのか？」です。より具体的には、なぜモデルとデータの組み合わせが特定の出力を提供したのかということです。

AIの説明可能性には多くの潜在的な受け手がいます。これには、AIシステムの開発者、導入組織、ヒューマンオペレーター、販売者/購入者、コンプライアンスチーム、規制者、影響を受けるエンドユーザー、そして一般の人々が含まれます。これらの受け手は、それぞれ異なるレベルの詳細でのコミュニケーションを好みます。

これらの説明の基盤には、より技術的な側面、すなわち解釈可能性があります。説明可能性が「なぜ」であるならば、解釈可能性は「どのように」です。

銀行ローンの例

銀行がAIシステムを使用してローン申請を承認または拒否する例を考えてみましょう。米国では、ローンを拒否する際、銀行は申請者にその決定がなぜなされたのかの説明を提供する必要があります。この説明の目的は、正確な情報が銀行の意思決定プロセスに準拠して使用されたことを示すためです。また、申請者に情報が不正確であった場合、それを修正する機会やプロセスの厳密さを争う機会を与えることです。

ローン申請者は、「あなたの信用スコアは自動承認の基準より20ポイント不足しており、加えて提供された資産はローンを確保するには$8,000不足していました」などの明確な情報を好むでしょう。

しかし、このような明確な説明を提供するためには、銀行のデータとAIチームがAIシステムを構成するデータ入力とモデルがどのように出力に達するかを理解する必要があります（AIの解釈可能性）。これは、モデルとデータセットがどのように開発され、ライフサイクル全体を通じてどのようなガバナンスが行われたかを理解することを必要とします。

生成AIの説明可能性

生成AIシステムは大規模なニューラルネットワークに基づいており、膨大な量のデータを訓練及び処理するため、その動作を理解し説明するのは困難です。最も強力な生成AIシステムの開発者でさえ、ある方法でプロンプトされたときに特定の不正確な出力が生成される理由を説明するのに苦労しています。

研究者はこの問題に対してさまざまなアプローチを採用しており、学者はこれらのアプローチを調査しています。例えば、リヒテンシュタイン大学のヨハネス・シュナイダーは生成AIシステムの説明可能性に関する研究アプローチの分類法を開発しています。

実務者にとってこれが何を意味するのか？

組織内のリーダーは、自身のユースケース、その影響の重要性、規制要件を最もよく理解しています。これらの考慮事項は、生成AIの説明可能性の目的を情報に基づいて策定するべきです。ステークスが高い場合、例えば特定の医療および金融ユースケースでは、標準はより高くなります。

各AIシステムのライフサイクルを通じて高品質なドキュメントを維持し、開発するための機能を持つことは、AIの説明可能性の取り組みにおいて必須です。さらに、組織の一般的なAIユースケースに関連する生成AIの説明可能性の方法を監視し採用する能力を構築することが重要です。

エンザイはここにいます

エンザイのAI GRCプラットフォームは、優良な実践や新しい規制、標準、フレームワーク（EU AIアクト、コロラドAIアクト、NIST AI RMF、ISO/IEC 42001など）に従ってAIを導入するのに貴社を支援します。詳しく知りたい方はこちらからお問い合わせください。