Halluzination
Wenn generative KI falsche oder erfundene Informationen produziert, die plausibel erscheinen, aber in den Trainingsdaten keine Grundlage haben.
Definition
Ein Fehlermodus großer generativer Modelle (Text, Bild, Audio), bei dem das System selbstbewusst Details erfindet — Fakten, Zitate, Referenzen —, die kohärent klingen, aber falsch sind. Halluzinationen entstehen durch das probabilistische Abtasten des Modells und das Fehlen von Grundlagen. Zu den Governance-Ansätzen gehören die Verankerung auf vertrauenswürdigen Wissensquellen, erweiterte Generierung durch Abrufe, kalibrierte Konfidenzwerte und Ebenen der Faktenüberprüfung nach der Generierung, um Erfindungen vor der Veröffentlichung zu erkennen.
Real-World Example
Ein Legal-Tech-Chatbot erfindet das Fallzitat „Smith v. United Republic, 2021“, wenn er das Vertragsrecht zusammenfasst. Die Kanzlei integriert einen Dienst zur Überprüfung von Zitaten: Nach der Generierung vergleicht der Chatbot jeden Fall mit einer maßgeblichen Datenbank und markiert alle unbestätigten Zitate zur menschlichen Überprüfung, wodurch verhindert wird, dass man sich auf falsche Präzedenzfälle verlassen kann.
.svg)
