Évaluation qualitative
L'examen subjectif des comportements, des décisions et de la documentation des systèmes d'IA par des experts afin d'identifier les problèmes éthiques, juridiques ou de réputation non capturés quantitativement.
Définition
Complète les mesures quantitatives par le jugement d'experts (comités d'éthique, examens juridiques, études sur l'expérience utilisateur) pour découvrir des problèmes tels que l'insensibilité culturelle, les modèles d'expérience utilisateur trompeurs ou les ambiguïtés juridiques. La gouvernance intègre des évaluations qualitatives aux étapes clés (conception, projet pilote, post-publication), documente les résultats dans les rapports d'évaluation et suit les mesures correctives pour faire face aux risques narratifs ou contextuels au-delà de ce que les indicateurs capturent.
Exemple concret
Lors de la conception d'un outil de reconnaissance faciale, un panel d'experts en droit et en droits civils effectue une évaluation qualitative afin d'identifier les abus potentiels à des fins de surveillance non autorisée. Sur la base de leurs commentaires, le fournisseur ajoute des flux de consentement explicites des utilisateurs et un enregistrement des audits strict, au lieu de se fier uniquement à des mesures de précision et de biais.
.svg)
