Un processus en deux étapes où un réseau étudiant compact est formé pour imiter les distributions de sortie (étiquettes douces) ou les représentations intermédiaires d'un modèle enseignant plus grand et plus complexe. La distillation réduit la latence d'inférence, la consommation d'énergie et la surface d'attaque — ce qui est important pour le déploiement en périphérie ou dans des environnements réglementés. La gouvernance inclut la validation que les modèles distillés conservent l'équité et la précision, ainsi que la documentation de la recette de distillation à des fins d'audit et de reproductibilité.