Opacité
L'absence de transparence dans la manière dont un modèle d'IA parvient à des décisions ou à des prévisions, ce qui pose des problèmes de confiance et de conformité réglementaire.
Définition
Fait référence à des modèles « boîtes noires » dont les représentations internes et la logique de décision sont inaccessibles ou trop complexes pour être interprétées par l'homme. L'opacité soulève des problèmes dans les domaines à enjeux élevés où l'explicabilité est requise. La gouvernance peut limiter les modèles opaques à des tâches à faible risque ou associer des mandats à des outils d'explicabilité externes et à des processus d'évaluation humaine afin d'atténuer les risques de confiance et de conformité liés à l'opacité.
Exemple concret
Un régulateur financier interdit l'utilisation de modèles de fraude complets sans explication. Une banque limite donc ces modèles opaques à des analyses internes et utilise un modèle plus simple et interprétable avec des explications LIME pour les alertes de fraude destinées aux clients, garantissant ainsi le respect des exigences de transparence.
.svg)
