Audit du poids
Examiner les poids et les structures des modèles pour détecter les anomalies, les portes dérobées ou les biais susceptibles d'indiquer une altération ou des comportements imprévus.
Définition
Processus d'inspection approfondi au cours duquel les paramètres du modèle sont analysés pour détecter des distributions irrégulières, des déclencheurs cachés (par exemple, des modèles de portes dérobées) et des amplitudes de poids disproportionnées liées à des caractéristiques sensibles. La gouvernance implique des outils automatisés qui analysent les histogrammes de pondération, détectent les paramètres aberrants et signalent les modèles suspects pour un examen de sécurité et d'équité, empêchant ainsi le déploiement de modèles corrompus ou manipulés de manière malveillante.
Exemple concret
Une équipe de sécurité exécute un outil d'audit de pondération sur un modèle de segmentation des clients et découvre un ensemble de pondérations qui augmentent les fonctionnalités de porte dérobée cryptées. Ils mettent le modèle en quarantaine, effectuent des analyses forensiques pour découvrir une attaque d'empoisonnement et se recyclent à partir d'un point de contrôle propre, éliminant ainsi la porte dérobée malveillante avant toute utilisation en production.
.svg)
