最終更新日:
AIシステムが学習データに存在する既存のバイアスを増幅させ、その結果、偏りがますます深刻化した出力をもたらす現象。
偏ったデータでトレーニングされたモデルが、新しいデータにおいてその偏りを強化する予測を行う（例えば、特定の成果を優先的に選択または重み付けするなど）ことで、当初の不平等を拡大させるフィードバックループ。この増幅を検出するには長期的な監査が必要であり、その緩和策としては、フィードバックサイクルを抑制するためのデータ拡張戦略などが挙げられます。
実際の導入事例：
ニュース推奨ボットは、ユーザーがクリックしたものと類似したストーリーをプロモートします。ボットが初期段階で特定のサブグループに対して政治的なコンテンツを主に表示した場合、ユーザーはより多くの政治記事をクリックすることになり、政治こそが彼らの唯一の関心事であるというボットの確信を強めることになります。時間の経過とともに、ボットはこの限定的なフォーカスをさらに増幅させます。開発チームは、推奨ロジックに多様性の制約を追加することで、この問題を緩和します。
