ノベルティ検出

トレーニングデータと大幅に異なる入力またはシナリオを特定し、レビューまたはセーフモード操作をトリガーして予期しない障害を防止する技法。

Definition

分布外検出とも呼ばれ、統計的距離、オートエンコーダー再構成誤差、または不確実性推定 (ベイジアンネットワークなど) を使用して異常な入力にフラグを付けます。ガバナンスは、セーフモードフォールバックの閾値を設定し、インシデント分析のために新規イベントを記録し、変化するデータ分布を反映するように検出モデルを定期的に更新します。

Real-World Example

医用画像処理AIは、ピクセル分布がトレーニングセットから2標準偏差以上異なるすべてのスキャンにフラグを立てます。新規性が検出されると、システムはスキャンを専門医に転送して手動で確認してもらい、後で分析できるようにイベントを記録します。これにより、モデルが異常なケースについて自信を持って誤った診断を下すことを防ぎます。