Modèle Black Box
Un système d'IA dont le fonctionnement interne n'est ni transparent ni interprétable, ce qui rend difficile la compréhension de la façon dont les décisions sont prises.
Définition
Modèles opaques mais performants (réseaux de neurones profonds, méthodes d'ensemble, par exemple) qui fournissent des résultats précis sans avoir une idée claire de leur logique. Les modèles de type boîte noire posent des défis en matière de gouvernance : il est difficile de détecter les erreurs, de justifier les décisions auprès des parties prenantes ou de garantir la conformité. Les organisations les associent souvent à des explicateurs externes ou les limitent à des cas d'utilisation à faible risque.
Exemple concret
L'IA diagnostique d'un hôpital utilise un réseau d'ensemble profond qui identifie avec précision les tumeurs sur les scans, mais ne peut pas expliquer son raisonnement. Pour régir son utilisation, les radiologues ne le déploient qu'en tant que deuxième opinion, en analysant toujours les résultats parallèlement à l'interprétation humaine, et les régulateurs exigent du fournisseur qu'il fournisse un outil explicatif externe pour les pistes d'audit.
.svg)
