Der Prozess der Identifizierung von Verzerrungen in KI-Modellen durch Analyse ihrer Ergebnisse und Entscheidungsprozesse.
Der Einsatz quantitativer und qualitativer Verfahren – statistischer Disparitätstests, kontrafaktischer Simulationen, Leistungsvergleiche zwischen Untergruppen und Fehleranalyse-Dashboards – um aufzuzeigen, wo und wie Modelle verschiedene Kohorten ungleich behandeln. Die Verzerrungserkennung ist ein kontinuierlicher Prozess: Mit der Weiterentwicklung der Daten können neue Verzerrungen entstehen, die in regelmäßigen Abständen eine erneute Bewertung erfordern.
Ein E-Commerce-Unternehmen führt sein Produkt-Empfehlungsmodell jedes Quartal durch eine Pipeline zur Erkennung von Verzerrungen, um zu prüfen, ob bestimmte Kundendemografien weniger oder qualitativ schlechtere Empfehlungen erhalten. Wenn die Klickrate des hispanischen Segments hinter der anderer Gruppen zurückbleibt, trainieren Datenwissenschaftler das Modell mit ausgewogenen Stichproben des Nutzerverhaltens neu, um die Ungleichheit zu korrigieren.
