Im Bereich der KI bezieht sich dies auf die unfaire Behandlung von Einzelpersonen oder Gruppen aufgrund von Verzerrungen in Daten oder Algorithmen, die zu ungleichen Ergebnissen führen.
Dies tritt auf, wenn Modellvorhersagen oder -entscheidungen geschützte Klassen (Ethnie, Geschlecht, Alter) systematisch benachteiligen. Eine wirksame Governance erfordert die Definition von Diskriminierungsmetriken (z. B. Chancengleichheit, demografische Parität), die Einbettung von Fairness-Beschränkungen in das Training sowie die Auditierung bereitgestellter Modelle auf unverhältnismäßige Auswirkungen, einschließlich Abhilfemaßnahmen, wenn Schwellenwerte überschritten werden.
Das Prognosetool einer Universität für die Zulassungsentscheidung weist für Studierende aus Nichtakademikerfamilien geringere Zulassungswahrscheinlichkeiten aus. Ein Fairness-Audit zeigt, dass Merkmale, die mit Legacy-Bewerbenden korrelieren, die Ungleichheit verursachen. Das Zulassungsbüro entfernt diese Proxy-Variablen und trainiert das Modell neu, um über alle Studierendenhintergründe hinweg gleiche True-Positive-Raten zu erreichen.
