XAI-Metriken
Quantitative oder qualitative Messgrößen (z. B. Merkmalsbedeutungswerte, Erklärungstreue), die zur Bewertung der Qualität und Zuverlässigkeit von KI-Erklärungen verwendet werden.
Definition
Metriken, die Erklärungseigenschaften wie Genauigkeit (wie gut die Erklärungen dem wahren Modellverhalten entsprechen), Stabilität (Konsistenz der Erklärungen unter ähnlichen Eingaben), Vollständigkeit (Erfassung der wichtigsten Merkmale) und Einfachheit (Prägnanz für Benutzer) bewerten. Die Unternehmensleitung verwendet diese Kennzahlen, um Erklärungsmethoden zu vergleichen, Akzeptanzschwellen festzulegen und Verbesserungen im Laufe der Zeit zu verfolgen.
Real-World Example
Die Erklärungen einer E-Commerce-Plattform zur Betrugswarnung werden hinsichtlich ihrer Genauigkeit bewertet, indem die Korrelation zwischen den Rankings der Merkmalsattribution und der tatsächlichen Modellsensitivität gemessen wird. Nur Erklärungsmethoden mit einer Genauigkeit von > 0,85 sind für Endbenutzer-Dashboards zugelassen, sodass die Ermittler zuverlässige Erkenntnisse erhalten.
.svg)
