Dernière mise à jour :
Examen des poids et des structures des modèles afin de détecter toute anomalie, porte dérobée ou biais susceptible d'indiquer une altération ou des comportements indésirables.
Il s'agit d'un processus d'inspection approfondie au cours duquel les paramètres du modèle sont analysés afin de détecter d'éventuelles distributions irrégulières, des déclencheurs masqués (par exemple, des patterns de type porte dérobée) ou des amplitudes de poids disproportionnées liées à des caractéristiques sensibles. La gouvernance repose sur des outils automatisés qui analysent les histogrammes de poids, détectent les paramètres aberrants et signalent les anomalies suspectes aux fins d'un examen de sécurité et d'équité, évitant ainsi le déploiement de modèles corrompus ou manipulés de manière malveillante.
Exemple concret :
Une équipe de sécurité exécute un outil d'audit des poids sur un modèle de segmentation de la clientèle et découvre une concentration de poids anormalement élevés pour des fonctionnalités de porte dérobée chiffrées. Elle place le modèle en quarantaine, effectue une analyse médico-légale pour révéler une attaque par empoisonnement, et procède à un réentraînement à partir d'un point de sauvegarde sain, éliminant ainsi la porte dérobée malveillante avant toute utilisation en production.
