Examiner les poids et les structures des modèles pour détecter des anomalies, des portes dérobées ou des biais pouvant indiquer une altération ou des comportements non souhaités.
Un processus d’inspection approfondie dans lequel les paramètres du modèle sont analysés afin d’identifier des distributions irrégulières, des déclencheurs cachés (par exemple, des schémas de porte dérobée) et des amplitudes de poids disproportionnées liées à des caractéristiques sensibles. La gouvernance s’appuie sur des outils automatisés qui examinent les histogrammes de poids, détectent les paramètres aberrants et signalent les schémas suspects pour un examen de sécurité et d’équité, empêchant ainsi le déploiement de modèles corrompus ou manipulés de manière malveillante.
Une équipe de sécurité exécute un outil d’audit des poids sur un modèle de segmentation client et découvre un groupe de poids présentant des pics associés à des caractéristiques de porte dérobée chiffrées. Elle met le modèle en quarantaine, réalise une analyse forensique afin de mettre au jour une attaque par empoisonnement, puis réentraîne le modèle à partir d’un point de contrôle sain, éliminant ainsi la porte dérobée malveillante avant toute mise en production.
