Ursachenanalyse
Eine strukturierte Untersuchung, um die zugrunde liegenden Gründe für Ausfälle oder unerwartete Verhaltensweisen von KI-Systemen zu ermitteln und Abhilfemaßnahmen anzuleiten.
Definition
Eine Methode zur Nachbehandlung eines Vorfalls — 5 Warums, Fishbone-Diagramme —, bei der Fehlerereignisse (z. B. Modellfehlklassifizierungen, Systemausfälle) durch Datenpipelines, Modelllogik und Infrastrukturebenen zurückverfolgt werden, um den primären Fehler zu identifizieren. Die Ursachenanalyse dokumentiert die Ergebnisse und die Pläne zur Behebung systemischer Probleme, stellt sicher, dass mit Korrekturmaßnahmen systemische Probleme behoben werden, und verhindert ein erneutes Auftreten. Die Unternehmensleitung schreibt für jeden Vorfall mit hohem Schweregrad eine RCA vor, wobei die Ergebnisse von der Geschäftsleitung überprüft werden.
Real-World Example
Nachdem eine Empfehlungsmaschine begann, unangemessene Inhalte vorzuschlagen, führte das Team eine Ursachenanalyse durch: Es stellte sich heraus, dass ein Datenaufnahmeskript Test- und Produktionsdaten zusammengeführt hatte, wodurch das Training verzerrt wurde. Sie korrigierten das Skript, validierten das Modell erneut und fügten der Datenaufnahme-Pipeline Komponententests hinzu, wodurch das Risiko einer zukünftigen Kontamination durch andere Umgebungen ausgeschlossen wurde.
.svg)
