Dernière mise à jour :
Une approche de test proactive dans laquelle des experts internes ou externes simulent des attaques ou des scénarios d'utilisation abusive afin de détecter les vulnérabilités des systèmes d'intelligence artificielle.
Un exercice contradictoire structuré dans lequel des équipes spécialisées (« red teams ») tentent de déjouer les protections des modèles, par le biais d'injections de requêtes (prompt injections), d'empoisonnement de données, d'abus d'API ou d'extraction de modèles. Le red teaming permet d'identifier les failles dans les défenses, d'orienter les stratégies d'atténuation des risques et de valider la résilience des couches de sécurité et de conformité lors de simulations de menaces réalistes. La gouvernance dicte le périmètre d'intervention du red teaming, les règles d'engagement ainsi que les rapports de remédiation requis.
Exemple concret :
Une plateforme d'intelligence artificielle financière fait appel à une équipe rouge externe pour tenter des attaques par extraction de données sur son API. L'équipe réussit à reconstituer des échantillons de données d'entraînement. Sur la base de ces conclusions, la plateforme met en place une limitation du débit, l'ajout de bruit pour une confidentialité différentielle, ainsi qu'une authentification renforcée - corrigeant ainsi des vulnérabilités critiques avant le lancement public.
