生成AIがトレーニングデータに基づかないにもかかわらず、もっともらしく見える誤った情報や捏造された情報を生成する場合。
大規模生成モデル（テキスト、画像、音声）における失敗モードの一つとして、システムが自信を持って、もっともらしく整合的に聞こえる一方で実際には誤っている詳細情報（事実、引用、参考文献）を捏造してしまう現象があります。ハルシネーションは、モデルの確率的サンプリングと、根拠への十分な接地が欠如していることに起因します。ガバナンス上の対応策としては、信頼できる知識ソースへの接地、検索拡張生成（RAG）、較正された信頼度スコア、ならびに公開前に捏造を検出する生成後のファクトチェック層の導入が挙げられます。
リーガルテックのチャットボットが契約法の要約時に「Smith v. United Republic, 2021」という判例引用を捏造してしまう事例があります。そこで当該企業は引用チェックサービスを統合し、生成後にチャットボットが各判例を権威あるデータベースと照合し、未検証の引用を人による確認対象としてフラグ付けすることで、不正確な先例への依拠を防止します。
