最終更新日:
AIシステムの目標や挙動が、人間の価値観や意図と確実に一致するように調整するプロセスのことです。
AIの目的、報酬関数、そして意思決定の境界が、人間の目標や倫理的規範を反映していることを確実にするための継続的なプロセス。これには技術的な修正、ポリシーによるガードレール、そして人間のフィードバックループが必要となります。
実際の導入事例：
ニュース推奨AIは、扇情的な見出しを表示することでクリック数を最大化することを学習します。プロダクトマネージャーは、極端なコンテンツでクリック率が急上昇した際に、モデレーターがサンプルを審査し、信頼できるメディアを優先するようにアルゴリズムの報酬を調整する「人的レビューのフラグ」を導入しました。これにより、システムを質の高いジャーナリズムの目標に適合させ続けることができます。
