モデルの重みと構造を精査し、改ざんや意図しない動作を示す可能性のある異常、バックドア、バイアスを確認します。
モデルパラメータを詳細に検査し、不規則な分布、隠れたトリガー（例：バックドアパターン）、および機微な特徴量に結び付いた不均衡な重みの大きさを分析するプロセスです。ガバナンスには、重みヒストグラムをスキャンし、外れ値パラメータを検出し、疑わしいパターンにセキュリティおよび公平性のレビュー用フラグを付与する自動化ツールが含まれます。これにより、破損した、または悪意をもって改ざんされたモデルが本番環境へ展開されることを防止します。
セキュリティチームは顧客セグメンテーションモデルに対して重み監査ツールを実行し、暗号化されたバックドア特徴に対して重みが急増しているクラスターを発見しました。チームは当該モデルを隔離し、フォレンジック分析を実施してポイズニング攻撃を特定したうえで、クリーンなチェックポイントから再学習を行い、本番利用前に悪意のあるバックドアを完全に排除しました。
