Gewichtsprüfung
Untersuchung von Modellgewichten und -strukturen auf Anomalien, Hintertüren oder Verzerrungen, die auf Manipulationen oder unbeabsichtigtes Verhalten hinweisen könnten.
Definition
Ein gründlicher Inspektionsprozess, bei dem Modellparameter auf unregelmäßige Verteilungen, versteckte Auslöser (z. B. Hintertürmuster) und unverhältnismäßige Gewichtsgrößen, die mit empfindlichen Merkmalen verknüpft sind, analysiert werden. Zur Steuerung gehören automatisierte Tools, die Gewichtungshistogramme scannen, Ausreißerparameter erkennen und verdächtige Muster zur Überprüfung der Sicherheit und Fairness kennzeichnen. Auf diese Weise wird verhindert, dass korrupte oder böswillig manipulierte Modelle eingesetzt werden.
Real-World Example
Ein Sicherheitsteam führt ein Gewichtsprüfungstool nach einem Kundensegmentierungsmodell aus und entdeckt eine Gruppe von Gewichtungsspitzen für verschlüsselte Backdoor-Funktionen. Sie stellen das Modell unter Quarantäne, führen forensische Analysen durch, um einen Vergiftungsangriff aufzudecken, und trainieren von einem sauberen Checkpoint aus erneut, sodass die bösartige Hintertür vor dem Einsatz in der Produktion beseitigt wird.
.svg)
