Kontinuierliches Tracking der Leistung von KI-Systemen, Datenverschiebungen, Verzerrungsmessungen und Sicherheitsereignissen, um auftretende Risiken im Laufe der Zeit zu erkennen und zu adressieren.
Umfasst Modellüberwachung (Genauigkeit, Drift), den Zustand der Datenpipeline (Ingestionsfehler), Fairness-Bewertungen (demografische Disparität) sowie Sicherheitswarnungen (Erkennung von Eindringversuchen). Die fortlaufende Überwachung nutzt Dashboards, automatisierte Warnmeldungen und regelmäßige Überprüfungen. Die Governance schreibt Anforderungen an die Überwachungsabdeckung, die Definition von Schwellenwerten, Incident-Response-Playbooks sowie ein regelmäßiges Reporting an Aufsichtsgremien vor.
Eine E-Commerce-Plattform überwacht ihre Empfehlungs-Engine täglich auf Genauigkeitsabfall, Verzerrungen in Nutzersegmenten und Laufzeitfehler. Benutzerdefinierte Dashboards zeigen alle Metriken an; sobald eine Metrik ihren Schwellenwert überschreitet, erhält das ML-Ops-Team eine Slack-Benachrichtigung und befolgt ein vordefiniertes Incident-Response-Protokoll, um die Ursache zu untersuchen und zu beheben.
