Le processus d'identification des biais dans les modèles d'IA en analysant leurs résultats et leurs processus de prise de décision.
L’utilisation de techniques quantitatives et qualitatives — tests de disparités statistiques, simulations contrefactuelles, comparaisons des performances par sous-groupes et tableaux de bord d’analyse des erreurs — permet de révéler où et comment les modèles traitent différemment les diverses cohortes. La détection des biais est un processus continu : à mesure que les données évoluent, de nouveaux biais peuvent apparaître, ce qui exige une réévaluation à intervalles réguliers.
Une entreprise de commerce électronique exécute chaque trimestre son modèle de recommandation de produits via un pipeline de détection des biais, afin de vérifier si certaines catégories démographiques de clients reçoivent moins de suggestions ou des suggestions de moindre qualité. Lorsque le taux de clics du segment hispanique est inférieur à celui des autres, les data scientists réentraînent le modèle à l’aide d’échantillons équilibrés de comportements utilisateurs afin de corriger cet écart.
