Verfolgung von Schwankungen in den Ausgaben von KI-Modellen oder Leistungskennzahlen im Laufe der Zeit, um Drift zu erkennen und potenziellen Abbau oder Risiken zu ermitteln.
Umfasst die Berechnung statistischer Varianzen in zentralen Kennzahlen (Vorhersageverteilungen, Merkmalswichtigkeiten, Leistungswerte) sowie deren Vergleich mit rollierenden Baselines. Signifikante Abweichungen lösen Warnmeldungen für eingehendere Untersuchungen aus. Die Governance definiert akzeptable Varianzbandbreiten, Überwachungsfrequenzen und automatisierte Reaktionsverfahren (Prüfungen der Datenpipeline, erneutes Modelltraining), um die Stabilität und Zuverlässigkeit des Modells aufrechtzuerhalten.
Eine KI für Online-Werbung überwacht die wöchentlichen Varianzen der Klickrate-Verteilungen über Nutzersegmente hinweg. Wenn die Varianz das Doppelte der historischen Standardabweichung überschreitet, fordert ein Alarm das Data-Fleet-Team auf, jüngste Code- oder Datenänderungen zu prüfen – und verhindert so, dass unbemerkte Drift die Kampagnenleistung beeinträchtigt.
