幻覚
ジェネレーティブAIが誤った情報や偽造した情報を生成し、その情報にもっともらしいように見えても、トレーニングデータには根拠がない場合。
Definition
大規模な生成モデル（テキスト、画像、音声）の故障モードです。事実、引用、参考文献など、一貫性があるように聞こえても虚偽である詳細をシステムが自信を持って考案します。幻覚は、モデルの確率的サンプリングと根拠の欠如から生じる。ガバナンス・アプローチには、信頼できるナレッジ・ソースに基づく構築、拡張ジェネレーションの検索、キャリブレーションされた信頼度スコア、リリース前に捏造品を発見するためのポストジェネレーション・ファクト・チェック・レイヤーなどが含まれます。
Real-World Example
あるリーガルテックのチャットボットが、契約法をまとめる際に「スミス対ユナイテッドリパブリック、2021年」というケースケースを考案しました。同社は引用チェックサービスを統合しています。チャットボットは生成後、各事例を信頼できるデータベースと相互参照し、未確認の引用にはフラグを付けて人間によるレビューを行うことで、偽の判例への依存を防いでいます。
.svg)
