インセンティブ調整
AIシステムの目標が人間の価値観や組織の優先事項と一致し続けるように、報酬体系と目標を設計します。
Definition
望ましい行動（安全や公平性など）を促し、ひねくれたインセンティブを避けられるような目的や報酬機能を構築する習慣。これには、AIが学習したインセンティブが利害関係者の意図と異なることがないことを確認するために、人間によるフィードバックループ、制約付きの最適化（安全なRLなど）、定期的な監査などが含まれます。
Real-World Example
コンテンツレコメンデーションAIはもともと総再生時間を最大化し、クリックベイトにつながっていました。プロダクトチームは「コンテンツの多様性」に対して二次的な報酬を追加し、センセーショナルな見出しにはペナルティを課します。導入後、インセンティブの連携が改善されたことを反映して、クリックベイトの視聴者数が 50% 減少し、全体的なユーザーエンゲージメントが上昇しました。
.svg)
