Jacobi-Matrix
Bei der KI-Erklärbarkeit handelt es sich um die Matrix aller partiellen Ableitungen erster Ordnung der Ergebnisse eines Modells in Bezug auf seine Eingaben, die zur Bewertung der Sensitivität und der Merkmalsbedeutung verwendet wird.
Definition
Ein mathematisches Tool, das quantifiziert, wie sich geringfügige Änderungen in jeder Eingabedimension auf jede Ausgabedimension auswirken. In neuronalen Netzwerken kann es zur Berechnung von Salienzkarten oder zur Messung der lokalen Sensitivität verwendet werden. Governance verwendet auf Jacobi basierende Metriken, um Schwachstellen zu identifizieren (z. B. gegnerische Sensitivität) und um Erklärungen zu generieren, die aufzeigen, welche Eingabemerkmale eine bestimmte Entscheidung am stärksten beeinflussen.
Real-World Example
In einer KI für medizinische Bildgebung berechnen Ingenieure den Jacobi-Wert für jedes Pixel in Bezug auf die Wahrscheinlichkeit eines „Tumors“. Regionen mit hoher Magnitude auf der Salienzkarte zeigen, welche Bildbereiche für die Diagnose ausschlaggebend sind. So können Radiologen überprüfen, ob sich das Modell auf plausible anatomische Merkmale und nicht auf Artefakte konzentriert.
.svg)
