Le phénomène où les systèmes d'IA exacerbent les biais existants présents dans les données d'entraînement, conduisant à des résultats de plus en plus biaisés.
Une boucle de rétroaction dans laquelle des modèles entraînés sur des données biaisées produisent des prédictions qui renforcent ces biais dans de nouvelles données — par exemple, en sélectionnant ou en pondérant préférentiellement certains résultats —, amplifiant ainsi les inégalités d’origine. La détection de cette amplification nécessite des audits longitudinaux, et son atténuation peut impliquer des stratégies d’augmentation des données visant à limiter les cycles de rétroaction.
Un bot de recommandation d’actualités met en avant des articles similaires à ceux sur lesquels les utilisateurs cliquent. S’il présente initialement, pour un sous-groupe, un contenu majoritairement politique, les utilisateurs cliquent sur davantage d’articles politiques, ce qui renforce la conviction du bot que la politique constitue leur seul centre d’intérêt. Au fil du temps, le bot accentue cette focalisation étroite. L’équipe atténue ce phénomène en ajoutant des contraintes de diversité à la logique de recommandation.
