Opazität

Der Mangel an Transparenz darüber, wie ein KI-Modell zu Entscheidungen oder Prognosen kommt, stellt das Vertrauen und die Einhaltung gesetzlicher Vorschriften vor Herausforderungen.

Definition

Bezieht sich auf „Blackbox“ -Modelle, deren interne Repräsentationen und Entscheidungslogik für eine menschliche Interpretation nicht zugänglich oder zu komplex sind. Undurchsichtigkeit wirft Probleme in Bereichen auf, in denen viel auf dem Spiel steht und in denen Erklärbarkeit gefragt ist. Die Unternehmensführung kann undurchsichtige Modelle auf Aufgaben mit geringem Risiko beschränken oder die Kombination mit externen Erklärbarkeitsinstrumenten und Prozessen der menschlichen Überprüfung vorschreiben, um die Vertrauens- und Compliance-Risiken von Undurchsichtigkeit zu mindern.

Real-World Example

Eine Finanzaufsichtsbehörde verbietet die Verwendung von Deep-Ensemble-Betrugsmodellen ohne Erklärbarkeit. Eine Bank beschränkt solche undurchsichtigen Modelle daher auf interne Analysen und verwendet ein einfacheres, interpretierbares Modell mit LIME-Erklärungen für Betrugswarnungen an Kunden, wodurch die Einhaltung der Transparenzanforderungen gewährleistet wird.