ブラックボックスモデル
内部の仕組みが透明でも解釈可能でもなく、意思決定がどのように行われるかを理解するのが難しいAIシステム。
Definition
高性能で不透明なモデル (ディープニューラルネットワーク、アンサンブル法など)。ロジックを明確に把握していなくても正確な結果が得られます。ブラックボックスモデルにはガバナンス上の課題があります。エラーの追跡、利害関係者への意思決定の正当化、コンプライアンスの確保が困難です。組織は多くの場合、それを外部の説明者と組み合わせたり、リスクの低いユースケースに限定したりします。
Real-World Example
病院の診断 AI は、スキャンで腫瘍を正確に識別するディープアンサンブルネットワークを使用していますが、その理由を説明することはできません。放射線科医はその使用を統制するために、セカンドオピニオンとしてのみ導入し、常に人間による解釈とともにアウトプットをレビューします。規制当局はベンダーに対し、監査証跡用の外部説明ツールの提供を義務付けています。
.svg)
