Kontinuierliches Überwachen der Leistung eines KI-Modells, der Datenverschiebung und der Betriebskennzahlen zur Erkennung von Verschlechterungen oder aufkommenden Risiken.
Live-Observability-Pipelines erfassen Metriken – Genauigkeit, Latenz, Drift der Eingabeverteilung, Fairness-KPIs, Fehlerraten – und vergleichen sie mit Basis-Schwellenwerten. Automatisierte Warnmeldungen werden ausgelöst, wenn Anomalien auftreten. Die Governance definiert, was überwacht wird, Warnschwellen, Eskalationsverfahren und Auslöser für ein Retraining, und protokolliert sämtliche Überwachungsdaten zu Audit-Zwecken.
Ein E-Commerce-Empfehlungsmodell überwacht täglich die Klickrate (CTR) und den demografischen Lift der Nutzer. Wenn die CTR um mehr als 5 % sinkt oder der demografische Lift abweicht, wird eine Warnmeldung an das Data-Science-Ops-Team gesendet. Dieses untersucht daraufhin Probleme in der Datenpipeline oder leitet ein erneutes Modelltraining ein, um die Leistung wiederherzustellen.
