Zuletzt aktualisiert am:
Untersuchung von Modellgewichten und -strukturen auf Anomalien, Backdoors oder Verzerrungen (Biases), die auf Manipulationen oder unbeabsichtigte Verhaltensweisen hinweisen könnten.
Ein eingehendes Prüfungsverfahren, bei dem Modellparameter auf unregelmäßige Verteilungen, verborgene Trigger (z. B. Backdoor-Muster) und unverhältnismäßig hohe Gewichtungen im Zusammenhang mit sensiblen Merkmalen analysiert werden. Die Governance umfasst automatisierte Tools, die Gewichtungshistogramme scannen, Ausreißer-Parameter erkennen und verdächtige Muster zur Überprüfung der Sicherheit und Fairness kennzeichnen. Dadurch wird verhindert, dass fehlerhafte oder böswillig manipulierte Modelle bereitgestellt werden.
Praxisbeispiel:
Ein Sicherheitsteam führt ein Gewichts-Audit-Tool für ein Kundensegmentierungsmodell aus und entdeckt eine Häufung von Gewichtungsspitzen bei verschlüsselten Backdoor-Funktionen. Es isoliert das Modell, führt eine forensische Analyse durch, um einen Poisoning-Angriff aufzudecken, und trainiert das Modell ausgehend von einem sauberen Prüfpunkt neu – wodurch die bösartige Backdoor vor jeglichem Produktionseinsatz eliminiert wird.
