Hallucination

Lorsque l'IA générative produit des informations incorrectes ou fabriquées qui semblent plausibles mais qui n'ont aucun fondement dans les données d'entraînement.

Définition

Mode de défaillance de grands modèles génératifs (texte, image, audio) dans lequel le système invente en toute confiance des détails (faits, citations, références) qui semblent cohérents mais qui sont faux. Les hallucinations sont dues à l'échantillonnage probabiliste du modèle et à son absence de fondement. Les approches de gouvernance incluent la mise à la base de sources de connaissances fiables, la génération augmentée par extraction, des scores de confiance calibrés et des couches de vérification des faits post-génération pour détecter les inventions avant leur publication.

Exemple concret

Un chatbot de technologie juridique invente une citation de cas « Smith c. United Republic, 2021 » pour résumer le droit des contrats. L'entreprise intègre un service de vérification des citations : après génération, le chatbot compare chaque cas à une base de données faisant autorité et signale toute citation non vérifiée pour examen humain, évitant ainsi de se fier à de faux précédents.