Glossar
Aktualisiert
Ein eingehendes Prüfungsverfahren, bei dem Modellparameter auf unregelmäßige Verteilungen, verborgene Trigger (z. B. Backdoor-Muster) und unverhältnismäßig hohe Gewichtungen im Zusammenhang mit sensiblen Merkmalen analysiert werden. Die Governance umfasst automatisierte Tools, die Gewichtungshistogramme scannen, Ausreißer-Parameter erkennen und verdächtige Muster zur Überprüfung der Sicherheit und Fairness kennzeichnen. Dadurch wird verhindert, dass fehlerhafte oder böswillig manipulierte Modelle bereitgestellt werden.
Beispiel
Ein Sicherheitsteam führt ein Gewichts-Audit-Tool für ein Kundensegmentierungsmodell aus und entdeckt eine Häufung von Gewichtungsspitzen bei verschlüsselten Backdoor-Funktionen. Es isoliert das Modell, führt eine forensische Analyse durch, um einen Poisoning-Angriff aufzudecken, und trainiert das Modell ausgehend von einem sauberen Prüfpunkt neu. So wird die bösartige Backdoor vor jeglichem Produktionseinsatz eliminiert.