Untersuchung von Modellgewichten und -strukturen auf Anomalien, Hintertüren oder Vorurteile, die auf Manipulationen oder unbeabsichtigte Verhaltensweisen hindeuten könnten.
Ein tiefgehender Inspektionsprozess, bei dem Modellparameter auf unregelmäßige Verteilungen, verborgene Auslöser (z. B. Backdoor-Muster) und unverhältnismäßige Gewichtungsgrößen im Zusammenhang mit sensiblen Merkmalen analysiert werden. Die Governance umfasst automatisierte Werkzeuge, die Gewichtungshistogramme prüfen, Ausreißerparameter erkennen und verdächtige Muster zur Überprüfung von Sicherheit und Fairness kennzeichnen, um zu verhindern, dass korrumpierte oder böswillig manipulierte Modelle in den Einsatz gelangen.
Ein Sicherheitsteam führt ein Weight-Audit-Tool für ein Kundensegmentierungsmodell aus und entdeckt einen Cluster von Gewichten, der bei verschlüsselten Backdoor-Features stark ansteigt. Das Team nimmt das Modell unter Quarantäne, führt eine forensische Analyse zur Aufdeckung eines Poisoning-Angriffs durch und trainiert es von einem sauberen Checkpoint aus neu – wodurch die bösartige Backdoor vor jeglichem Einsatz in der Produktion beseitigt wird.
