Zuletzt aktualisiert am:
Ein Governance-Reifegradmodell ist eine stufenweise Skala zur Bewertung, wie weit die KI-Governance einer Organisation entwickelt ist. Sie reicht in der Regel von Ad-hoc-Praktiken bis hin zu messbaren und kontinuierlich verbesserten Prozessen. Es dient dazu, eine Ausgangsposition zu bestimmen, ein realistisches Ziel festzulegen und Investitionen zu priorisieren, nicht jedoch zur Zertifizierung der Compliance.
Was beschreiben die Stufen üblicherweise?
Die meisten Modelle folgen den fünf von CMMI etablierten Reifegraden. Auf der ersten Stufe erfolgen Aktivitäten ad hoc und hängen von einzelnen Personen ab. Auf der zweiten Stufe sind sie innerhalb von Teams wiederholbar, jedoch teamübergreifend inkonsistent. Auf der dritten Stufe sind sie definiert, mit dokumentierten Richtlinien und Rollen, die unternehmensweit gelten. Auf der vierten Stufe werden sie gemessen, mit Kennzahlen zu Abdeckung, Zykluszeit und Kontrolleffektivität. Auf der fünften Stufe findet eine Optimierung statt, bei der sich das Programm auf der Grundlage der Messergebnisse selbst anpasst. Die Bezeichnungen variieren je nach Framework; die Entwicklung von persönlicher Praxis über institutionelle Praxis hin zu gemessener Praxis bleibt jedoch dieselbe.
Was wird gemessen?
Der Reifegrad wird über mehrere Dimensionen gleichzeitig bewertet, und Organisationen befinden sich selten in allen Dimensionen auf demselben Niveau. Die Dimension „Richtlinien“ prüft, ob Standards existieren und aktuell sind. Die Dimension „Inventar“ hinterfragt, welcher Anteil des gesamten KI-Bestands erfasst ist – hier weisen die meisten Programme die größten Schwachstellen auf. Die Dimension „Prozess“ prüft, ob Aufnahme, Risikobewertung und Genehmigung konsistent oder nur im Ausnahmefall erfolgen. Die Dimension „Rollen“ hinterfragt, ob Verantwortlichkeiten zugewiesen und verstanden wurden. Die Dimension „Nachweise“ prüft, ob Kontrollen Aufzeichnungen generieren, die einer Prüfung standhalten. Die Dimension „Überwachung“ fragt ab, ob nach der Bereitstellung Kontrollen stattfinden. Ein Programm mit starken Richtlinien und einem lückenhaften Inventar ist häufig anzutreffen und schneidet schlechter ab, als es die Dokumentation vermuten lässt.
Wie verhält es sich zu ISO/IEC 42001 und dem NIST AI RMF?
Sie beantworten unterschiedliche Fragen. ISO/IEC 42001 ist ein zertifizierbarer Standard für Managementsysteme: Ein Unternehmen erfüllt die Anforderungen entweder oder nicht. Das NIST AI Risk Management Framework ist ein freiwilliger Leitfaden, der um die vier Funktionen „Regieren“, „Kartieren“, „Messen“ und „Verwalten“ strukturiert ist und keine Reifegrade definiert. Ein Reifegradmodell fungiert neben beiden als Planungsinstrument, das beschreibt, wie weit ein Unternehmen fortgeschritten ist und was als Nächstes aufgebaut werden sollte. Die Verwendung eines Reifegrad-Scores als Beleg für die Konformität mit einem der beiden Standards ist ein Kategorialfehler, wenngleich eine Reifegradbewertung ein probates Mittel ist, um den Weg zur Zertifizierung zu planen.
Was sind die häufigsten Fehlermuster?
Eine überhöhte Selbsteinschätzung ist das Hauptproblem, da Teams ihre eigene Funktion bewerten und Absichten oft als bereits erbrachte Leistung interpretieren. Ein weiterer Fehler ist die Bewertung auf der falschen Ebene, bei der ein Unternehmen die gesamte Organisation bewertet und dabei die Tatsache verschleiert, dass sich eine Geschäftseinheit auf Stufe vier und eine andere auf Stufe eins befindet. Der dritte Fehler besteht darin, das Modell als das eigentliche Ziel zu betrachten: Stufe fünf ist nicht für jede Organisation das richtige Ziel. Ein Unternehmen mit einem kleinen, risikoarmen KI-Bestand, das Stufe drei mit einer guten Abdeckung erreicht, ist besser aufgestellt als ein Unternehmen, das Stufe fünf anstrebt, während die Hälfte seiner Systeme nicht erfasst ist.
Wie sollte es angewendet werden?
Führen Sie die Bewertung anhand von Nachweisen und nicht auf Basis von Meinungen durch, indem Sie Stichproben realer Systeme nehmen und prüfen, ob die Kontrollaufzeichnungen existieren. Nehmen Sie die Bewertung nach Dimensionen vor, damit Schwachstellen sichtbar werden. Legen Sie die Zielstufe bewusst fest, basierend auf regulatorischen Anforderungen und der Größe des KI-Bestands. Führen Sie die Neubewertung in einem festen Turnus durch, damit Fortschritte messbar werden, und nutzen Sie die Lücken zwischen den Dimensionen, um die Arbeit zu priorisieren – denn die Erhöhung der Inventarabdeckung beseitigt meist mehr Hindernisse als die bloße Verfeinerung von Richtlinien.
Praxisbeispiel:
Ein Handelskonzern bewertet seine KI-Governance anhand von fünf Dimensionen. Der Bereich Richtlinien erreicht Stufe drei, da ein vom Vorstand genehmigter KI-Standard existiert und aktuell ist. Der Bereich Inventarisierung erreicht Stufe eins, da eine Stichprobe 40 registrierte Systeme gegenüber rund 110 tatsächlich genutzten Systemen aufzeigt, wobei die Differenz größtenteils aus KI-Funktionen innerhalb bestehender SaaS-Tools resultiert. Der Bereich Prozesse erreicht Stufe zwei, da die Erfassung ausschließlich im Data-Science-Team und sonst nirgendwo stattfindet. Die Unternehmensgruppe setzt sich für die kommenden zwölf Monate das Ziel, in allen fünf Dimensionen die Stufe drei anstelle der Stufe vier zu erreichen. Das erste Quartal wird für die Bestandsaufnahme und Registrierung genutzt, da die Lücken in der Inventarisierung alle anderen Bewertungen unzuverlässig machen. Eine Neubewertung ist nach sechs und zwölf Monaten anhand derselben evidenzbasierten Methode geplant.
