Wenn generative KI inkorrekte oder erfundene Informationen erstellt, die plausibel erscheinen, aber keine Grundlage in den Trainingsdaten haben.
Ein Fehlermodus großer generativer Modelle (Text, Bild, Audio), bei dem das System selbstsicher Details – Fakten, Zitate, Referenzen – erfindet, die kohärent wirken, jedoch falsch sind. Halluzinationen entstehen durch das probabilistische Sampling des Modells und die fehlende Verankerung in verlässlichen Quellen. Zu den Governance-Ansätzen zählen die Verankerung auf vertrauenswürdigen Wissensquellen, retrieval-augmentierte Generierung, kalibrierte Konfidenzwerte sowie nachgelagerte Fact-Checking-Ebenen, um Erfindungen vor der Veröffentlichung zu erkennen.
Ein Legal-Tech-Chatbot erfindet bei der Zusammenfassung des Vertragsrechts ein Fallzitat „Smith v. United Republic, 2021“. Die Kanzlei integriert einen Dienst zur Zitationsprüfung: Nach der Generierung gleicht der Chatbot jeden Fall mit einer autoritativen Datenbank ab und kennzeichnet alle nicht verifizierten Zitate zur menschlichen Überprüfung, wodurch verhindert wird, dass auf unzutreffende Präzedenzfälle vertraut wird.
