Contrôle judiciaire

Le processus juridique par lequel les tribunaux évaluent la légalité des décisions prises ou assistées par l'IA, garantissant ainsi la responsabilité et la régularité de la procédure.

Définition

Lorsqu'une décision soutenue par l'IA (par exemple, recommandation de condamnation, refus de prestations) est contestée, les tribunaux examinent si le processus d'IA était conforme aux normes légales : adéquation de la supervision humaine, droits des données et transparence des motifs. Le contrôle judiciaire fonde la responsabilité de l'IA sur des principes de procédure régulière établis, nécessitant des journaux maintenables, des explications et la disponibilité de mécanismes d'appel humains.

Exemple concret

Un bénéficiaire de l'aide sociale fait appel d'un refus de prestations fondé sur l'IA. Au tribunal, le juge examine les registres de décisions de l'IA et les explications du SHAP, détermine que le modèle a mal appliqué les seuils de revenus et ordonne à l'agence de rétablir les prestations et de réviser ses procédures d'audit de l'IA pour inclure une étape d'examen d'appel.