フィードバックループ
AI 出力が入力としてフィードバックされるプロセスです。これにより、モデルの動作が改善されるか (強化学習)、悪くなるか (バイアス強化) に増幅されます。
Definition
意図的 (強化学習) ループと非意図的 (レコメンデーション強化) ループの両方について説明します。ポジティブループは時間の経過とともにパフォーマンスを最適化できますが、ネガティブループではバイアスが増幅するリスクがあります。たとえば、人気のあるコンテンツを示すレコメンダーが人気を高めます。ガバナンス戦略には、ループ検出指標、介入ポリシー (多様性クォータ)、ライブデプロイ前のシミュレーションループテストなどがあります。
Real-World Example
ニュースプラットフォームのレコメンダーには、トレンド記事が表示されます。ユーザーがそれらの記事をより多くクリックするほど、システムは記事をさらに拡大し、コンテンツの多様性を狭めます。チームは「セレンディピティ」制約（クリック数の少ないトピックを一定の割合で注入する）を導入して、制限のないフィードバックループを断ち切り、コンテンツの多様性を維持しています。
.svg)
