クロスバリデーション
統計分析の結果がどのように独立したデータセットに一般化されるかを評価するためのモデル検証手法。
Definition
データを k 回に分割し、k-1 分割で学習し、ホールドアウト分割でテストして k 回繰り返します。これにより、モデルの汎化の確固たる推定値が得られ、過適合が明らかになります。ガバナンスのユースケースには、チーム間の相互検証プロトコル (フォールドサイズ、ランダムシード) の標準化や、コンプライアンス監査のための結果の文書化などがあります。
Real-World Example
あるマーケティング分析チームは、顧客離れモデルに10段階の相互検証を行っています。分割するごとに AUC スコアが生成され、その平均と分散が関係者に報告されます。分散が大きいと、パフォーマンスが不安定なモデルを展開するのではなく、追加のデータを収集します。