ジェネレーティブAIシステムの説明可能性の育成

説明可能性は、あらゆる AI システムの信頼性における主要な考慮事項です。また、法的要件となるケースも増えています。しかし、ジェネレーティブAIシステムの仕組みを理解して説明することは非常に難しいことで知られています。

責任あるAI導入の最先端にいる組織は、AIの説明可能性に多大なリソースを費やすようになってきています。JPモルガンは以下を創出し、リソースを提供してきました。 説明可能なAIセンター・オブ・エクセレンスこれは、公平性、説明責任、コンプライアンスなど、他の分野での取り組みにも反映されています。米国国防総省の研究開発機関であるDARPAが主導してきました。 主な取り組み 医療や交通などの分野で AI の説明能力を高めることを目的としています。

では、AIの説明可能性とは何か、そして組織はジェネレーティブAIシステムにおいてどのようにアプローチすべきでしょうか？

説明可能性とは？

ザの NIST AI リスク管理フレームワーク 説明可能性を「AIシステムの運用の根底にあるメカニズムの表現」と表現しています。そこで、AI の説明可能性における重要な疑問は、「なぜ AI システムが特定のアウトプットを提供したのか」ということです。もっと具体的に言うと、なぜモデルとデータの組み合わせによって特定のアウトプットが得られたのでしょうか。

AIによる説明可能性の潜在的利用者はたくさんいます。これらには、AI システムの開発者、導入組織、人間のオペレーター、売り手/買い手、コンプライアンスチーム、規制当局、影響を受けるエンドユーザー、一般市民が含まれます。これらのオーディエンスはそれぞれ、異なる詳細レベルでのコミュニケーションを好むのが一般的です。

これらの説明の根底には、より技術的なもの、つまり解釈可能性があります。説明可能性が「なぜ」なら、解釈可能性は「どうやって」なのです。

銀行ローンの例

銀行が AI システムを使用して融資申請を承認または却下している例を考えてみましょう。米国では、融資を拒否する場合、銀行は申請者にその決定がなされた理由を説明しなければなりません。この説明の目的は、正確な情報が銀行の意思決定プロセスに沿った方法で使用されたことを証明することです。また、申請者は不正確な情報を訂正したり、手続きの厳しさに異議を唱えたりする機会にもなります。

ローン申請者は、「クレジットスコアが自動承認基準額より20ポイント低く、さらに、提供された資産がローンの全額担保に8,000ドル足りなかった」など、明確に伝えられた情報を好む可能性があります。

しかし、このような明確な声明を出すためには、銀行のデータ・AIチームは、データ入力とAIシステムを構成するモデルがどのようにアウトプットをもたらすか（AIの解釈可能性）を理解する必要があります。そのためには、モデルとデータセットがどのように開発されたのか、またライフサイクルを通じてどのようなガバナンスの対象となったのかを理解する必要があります。

ジェネレーティブAIの説明可能性

ジェネレーティブAIシステムは、膨大な量のデータをトレーニングして処理する大規模なニューラルネットワークに基づいているため、その仕組みを理解したり説明したりすることは困難です。最も強力なジェネレーティブ AI システムの開発者でさえ、システムが特定の方法で要求されたときに特定の不正確な出力を生成する理由を説明するのに苦労しています。

研究者はこの問題に対していくつかの異なるアプローチを採用しており、学者はこれらのアプローチを調査しました。例えば、リヒテンシュタイン大学のヨハネス・シュナイダーは 分類法を開発しました ジェネレーティブAIシステムの説明可能性に関する研究アプローチの紹介

これは開業医にとって何を意味するのでしょうか？

組織内のリーダーは、自社のユースケース、その影響の重要性、および規制要件を最もよく理解しています。こうした考慮事項が、ジェネレーティブAIによる説明可能性の取り組みの目的に役立つはずです。特定の医療や金融のユースケースなど、リスクが高ければ高いほど、基準は高くなります。

各AIシステムのライフサイクルを通じて高品質の文書を維持および開発するために、部門を超えて協力することが、AIの説明可能性への取り組みの前提条件です。さらに、組織の一般的な AI ユースケースに関連するジェネレーティブな AI 説明可能性の手法を監視し、採用する能力を身に付けることも重要です。

‍エンザイがお手伝いします

EnzaiのAI GRCプラットフォームは、企業がベストプラクティスや、EU AI法、コロラド州人工知能法、NIST AI RMF、ISO/IEC 42001などの新たな規制、標準、フレームワークに従ってAIを導入するのに役立ちます。詳細については、お問い合わせください。 ここに。