Amplification de biais
Le phénomène selon lequel les systèmes d'IA exacerbent les biais existants présents dans les données de formation, entraînant des résultats de plus en plus biaisés.
Définition
Boucle de rétroaction dans laquelle les modèles entraînés sur des données biaisées font des prédictions qui renforcent ces biais dans les nouvelles données, par exemple en sélectionnant ou en pondérant de préférence certains résultats, amplifiant ainsi les inégalités initiales. La détection de l'amplification nécessite des audits longitudinaux, et l'atténuation peut impliquer des stratégies d'augmentation des données pour atténuer les cycles de rétroaction.
Exemple concret
Un robot de recommandation d'actualités fait la promotion d'articles similaires à ceux sur lesquels les utilisateurs cliquent. S'il affiche initialement du contenu principalement politique pour un sous-groupe, les utilisateurs cliquent sur d'autres articles politiques, ce qui renforce la conviction du bot que la politique est leur seul intérêt. Au fil du temps, le bot amplifie cette focalisation étroite. L'équipe l'atténue en ajoutant des contraintes de diversité à la logique de recommandation.
.svg)
