Die Erklärbarkeit ist ein wesentlicher Faktor für die Vertrauenswürdigkeit eines jeden KI-Systems. Zunehmend ist sie auch eine rechtliche Anforderung. Dennoch ist es bekanntermaßen schwierig, die Funktionsweise generativer KI-Systeme zu verstehen und zu erklären.

Unternehmen, die bei der verantwortungsvollen Einführung von KI eine Vorreiterrolle einnehmen, wenden zunehmend erhebliche Ressourcen für die KI-Erklärbarkeit auf. JP Morgan hat ein Explainable AI Center of Excellence eingerichtet und mit Ressourcen ausgestattet, das seine Bemühungen in anderen Bereichen wie Fairness, Rechenschaftspflicht und Compliance unterstützt. DARPA, die F&E-Agentur des US-Verteidigungsministeriums, hat bedeutende Anstrengungen unternommen, um die KI-Erklärbarkeit in Bereichen wie Medizin und Transportwesen voranzutreiben.

Was also ist KI-Erklärbarkeit, und wie sollten Unternehmen bei generativen KI-Systemen an diese herangehen?

Was ist Erklärbarkeit?

Das NIST AI Risk Management Framework beschreibt Erklärbarkeit als „eine Darstellung der Mechanismen, die dem Betrieb von KI-Systemen zugrunde liegen“. Die Schlüsselfrage bei der KI-Erklärbarkeit lautet also: „Warum hat das KI-System ein bestimmtes Ergebnis geliefert?“ Genauer gesagt: Warum hat die Kombination aus Modellen und Daten zu einem bestimmten Ergebnis geführt?

Es gibt viele potenzielle Zielgruppen für die KI-Erklärbarkeit. Dazu gehören die Entwickler des KI-Systems, die einsetzenden Organisationen, menschliche Bediener, Verkäufer/Käufer, Compliance-Teams, Regulierungsbehörden, betroffene Endnutzer und die Öffentlichkeit. Jede dieser Zielgruppen bevorzugt in der Regel Informationen mit unterschiedlichem Detailgrad.

Diesen Erklärungen liegt etwas Technischeres zugrunde – die Interpretierbarkeit. Wenn Erklärbarkeit das „Warum“ ist, dann ist Interpretierbarkeit das „Wie“.

Beispiel Bankkredit

Nehmen wir das Beispiel einer Bank, die ein KI-System zur Genehmigung oder Ablehnung von Kreditanträgen einsetzt. In den USA muss eine Bank bei der Ablehnung eines Kredits dem Antragsteller erklären, warum diese Entscheidung getroffen wurde. Der Zweck dieser Erklärung besteht darin, nachzuweisen, dass genaue Informationen in einer Weise verwendet wurden, die den Entscheidungsprozessen der Bank entspricht. Sie gibt dem Antragsteller auch die Möglichkeit, ungenaue Informationen zu korrigieren oder die Gründlichkeit des Prozesses anzufechten.

Ein Kreditantragsteller bevorzugt wahrscheinlich klar formulierte Informationen wie: „Ihr Kredit-Score lag 20 Punkte unter dem Schwellenwert für eine automatische Genehmigung, und zudem fehlten bei den von Ihnen bereitgestellten Vermögenswerten 8.000 US-Dollar, um den Kredit direkt abzusichern.“

Um jedoch eine derart klare Aussage treffen zu können, muss das Daten- und KI-Team der Bank verstehen, wie die Dateneingaben und die Modelle, aus denen das KI-System besteht, zu den Ergebnissen führen (KI-Interpretierbarkeit). Dies wiederum erfordert ein Verständnis darüber, wie die Modelle und Datensätze entwickelt wurden und welcher Art von Governance sie während ihres gesamten Lebenszyklus unterlagen.

Erklärbarkeit für generative KI

Da generative KI-Systeme auf massiven neuronalen Netzen basieren, die riesige Datenmengen trainieren und verarbeiten, sind ihre Funktionsweisen schwer zu verstehen und zu erklären. Selbst die Entwickler der leistungsfähigsten generativen KI-Systeme haben Schwierigkeiten zu erklären, warum ihre Systeme bei bestimmten Prompts spezifische, ungenaue Ergebnisse generieren.

Forscher haben verschiedene Ansätze für dieses Problem gewählt, und Wissenschaftler haben diese Ansätze untersucht. Beispielsweise hat Johannes Schneider von der Universität Liechtenstein eine Taxonomie von Forschungsansätzen zur Erklärbarkeit generativer KI-Systeme entwickelt.

Was bedeutet das für die Praxis?

Führungskräfte in Unternehmen verstehen ihre Anwendungsfälle, die Tragweite ihrer Auswirkungen und ihre regulatorischen Anforderungen am besten. Diese Erwägungen sollten die Ziele ihrer Bemühungen um die Erklärbarkeit generativer KI bestimmen. Die Standards sind umso höher, je mehr auf dem Spiel steht – wie beispielsweise bei bestimmten medizinischen und finanziellen Anwendungsfällen.

Die funktionsübergreifende Zusammenarbeit zur Pflege und Entwicklung einer qualitativ hochwertigen Dokumentation während des gesamten Lebenszyklus eines jeden KI-Systems ist eine Grundvoraussetzung für Bemühungen um die KI-Erklärbarkeit. Darüber hinaus ist es wichtig, die Fähigkeit zu schaffen, die für die gängigen KI-Anwendungsfälle der Organisation relevanten Methoden zur Erklärbarkeit generativer KI zu überwachen und zu übernehmen.

‍Enzai ist hier, um zu helfen

Die KI-GRC-Plattform von Enzai kann Ihr Unternehmen dabei unterstützen, KI in Übereinstimmung mit Best Practices und neuen Vorschriften, Standards und Rahmenwerken wie dem EU AI Act, dem Colorado AI Act, dem NIST AI RMF und ISO/IEC 42001 einzusetzen. Um mehr zu erfahren, nehmen Sie hier Kontakt mit uns auf.

Enzai ist die führende Plattform für Enterprise AI Governance, die speziell dafür entwickelt wurde, Unternehmen beim Übergang von abstrakten Richtlinien zur operativen Aufsicht zu unterstützen. Unsere KI-Risikomanagement-Plattform bietet die spezialisierte Infrastruktur, die erforderlich ist, um Agentic AI Governance zu verwalten, ein umfassendes KI-Inventar zu führen und die Einhaltung des EU AI Act zu gewährleisten. Durch die Automatisierung komplexer Workflows ermöglicht Enzai es Unternehmen, die Einführung von KI vertrauensvoll zu skalieren und gleichzeitig die Ausrichtung an globalen Standards wie ISO 42001 und NIST beizubehalten.