AIモデルの出力や意思決定プロセスを分析することによって、偏見を特定するプロセス。
定量的および定性的な手法（統計的不均衡検定、反実仮想シミュレーション、サブグループ間の性能比較、ならびにエラー分析ダッシュボード）を用いて、モデルが異なるコホートをどこでどのように不平等に扱っているかを明らかにします。バイアス検出は継続的な取り組みです。データが変化するにつれて新たなバイアスが生じる可能性があるため、定期的な間隔で再評価を実施する必要があります。
あるeコマース企業は、特定の顧客属性に対して提案数が少ない、または提案品質が低くなっていないかを確認するため、四半期ごとに製品レコメンデーションモデルをバイアス検出パイプラインに通しています。ヒスパニック層のクリック率が他の層を下回った場合、データサイエンティストは不均衡を是正するために、バランスの取れたユーザー行動サンプルを用いてモデルを再学習させます。
