AIシステムの目標が人間の価値観と組織の優先事項に一致し続けるように、報酬構造と目的を設計すること。
望ましい行動（例：安全性、公平性）を促進し、不適切なインセンティブを回避するために、目的関数や報酬関数を設計する取り組みです。これには、人的フィードバックのループ、制約付き最適化（例：安全な強化学習）、およびAIが学習したインセンティブがステークホルダーの意図から逸脱しないことを確認するための定期的な監査が含まれます。
当初、コンテンツ推薦AIは視聴時間の最大化を目的としていたため、クリックベイトを助長していました。そこでプロダクトチームは、「コンテンツの多様性」に対する二次的な報酬を追加し、扇情的な見出しにはペナルティを課しました。導入後、クリックベイトの視聴は50%減少し、ユーザーエンゲージメント全体は上昇しました。これは、インセンティブ設計の整合性が向上したことを示しています。
