ナレッジ・ディスティレーション
大規模な「教師」モデルからより小さな「学生」モデルに洞察を移し、パフォーマンスとリソースおよびガバナンスの制約とのバランスをとる方法。
Definition
2段階のプロセスで、より大規模で複雑な教師モデルの出力分布（ソフトラベル）または中間表現を模倣するようにコンパクトな学生ネットワークに学習させます。蒸留により、エッジデプロイメントや規制対象の環境にとって重要な、推論の待ち時間、エネルギー消費量、攻撃対象領域が減少します。ガバナンスには、蒸留モデルが公平性と正確性を維持していることを検証することと、監査と再現性のために蒸留レシピを文書化することが含まれます。
Real-World Example
あるモバイルアプリ開発者は、BERT ベースの大規模な感情分析モデルを、デバイス上での推論に適した TinyBert バリアントに抽出します。抽出されたモデルでは、メモリ使用量を 90% 削減しながら、教師の精度の 98% を維持できます。蒸留プロセスの文書は、将来の監査に備えて企業の知識管理システムに保存されます。
.svg)
