Zuletzt aktualisiert am:
Überwachung von Schwankungen bei KI-Modellausgaben oder Leistungsmetriken im Zeitverlauf, um Abweichungen zu erkennen und auf potenzielle Leistungsverluste oder Risiken zu schließen.
Dies umfasst die Berechnung statistischer Varianzen bei Schlüsselmetriken (Vorhersageverteilungen, Merkmalsgewichtungen, Leistungsbewertungen) und deren Vergleich mit gleitenden Baselines. Signifikante Abweichungen lösen Warnmeldungen für tiefergehende Untersuchungen aus. Die Governance definiert akzeptable Varianzbereiche, Überwachungsfrequenzen und automatisierte Reaktionsverfahren (Datenpipeline-Prüfungen, Modell-Retraining), um die Stabilität und Zuverlässigkeit des Modells aufrechtzuerhalten.
Praxisbeispiel:
Eine KI für Online-Werbung verfolgt die wöchentliche Varianz der Klickratenverteilung über verschiedene Nutzersegmente hinweg. Wenn die Varianz das Doppelte der historischen Standardabweichung überschreitet, fordert eine Warnmeldung das Data-Fleet-Team auf, nach jüngsten Code- oder Datenänderungen zu suchen. Dies verhindert, dass unbemerkte Abweichungen die Kampagnenleistung beeinträchtigen.
