最終更新日:
生成AIが、トレーニングデータに基づかない、もっともらしく見える誤った情報や架空の情報を生成する現象。
大規模な生成モデル（テキスト、画像、音声）の失敗モードの一つで、システムが事実、引用、参考文献など、一貫しているように聞こえるものの、誤りである詳細情報を確信を持って捏造してしまう現象を指します。ハルシネーションは、モデルの確率的サンプリングとグラウンディング（根拠付け）の欠如から発生します。ガバナンスにおけるアプローチとしては、信頼できる知識ソースへのグラウンディング、検索拡張生成（RAG）、調整された信頼度スコア、およびリリース前に捏造を検知するための生成後のファクトチェック層の導入などが挙げられます。
実際の導入事例：
リーガルテックのチャットボットが契約法を要約する際、「Smith v. United Republic, 2021」という架空の判例引用を捏造してしまいました。そこで同事務所は、引用文献チェックサービスを統合しました。生成後、チャットボットが各判例を権威あるデータベースと照合し、未検証の引用に人間によるレビュー用のフラグを立てることで、虚偽の先例への依存を防止します。
