Unser Gremium aus Experten für KI-Governance äußert sich zu Vorschriften und Standards, Rechenschaftspflicht, den drei Verteidigungslinien (Three Lines of Defence) und weiteren Themen.
•
•
26 Minuten Lesezeit
Wir freuen uns sehr, die Erkenntnisse aus der Expertenrunde unseres jüngsten Webinars zu teilen. Mit dabei waren Connor Dunlop (CD), European Public Policy Lead am Ada Lovelace Institute; Martin Koder (MK), AI Governance Lead bei SWIFT; Chloe Autio (CA), AI Policy and Governance Advisor; und Ryan Donnelly (RD), CEO bei Enzai, einer Plattform für KI-Governance.
Die Antworten der Panel-Teilnehmer wurden aus Gründen der Länge und Übersichtlichkeit redaktionell bearbeitet.
Nach der jüngsten Verhandlungsrunde zum EU-KI-Gesetz (EU AI Act) in der vergangenen Woche: Was sind aus Ihrer Sicht die wesentlichen Streitpunkte und welche Entwicklungen erhoffen Sie sich im nächsten Jahr von der EU?
CD: Dies ist ein Meilenstein für Brüssel und die EU – es gibt eine politische Einigung über das KI-Gesetz. Dies wäre die weltweit erste horizontale Regulierung von KI. Es war ein bedeutender Moment. Hoffentlich wird es nicht mehr viele Streitpunkte geben, aber bei der kommenden technischen Ausarbeitung des Entwurfs werden wir sicherlich noch auf einige stoßen. Bevor ich jedoch über Streitpunkte und Entwicklungen für das nächste Jahr spreche, möchte ich kurz darauf eingehen, warum das KI-Gesetz so wichtig ist und warum uns diese politische Einigung am Herzen liegen sollte. Wie bereits erwähnt, wäre es die erste sektorübergreifende Regulierung von KI weltweit. Und das ist insofern interessant, als dass der Einsatz bestimmter KI-Systeme tatsächlich verboten werden soll. Die biometrische Fernidentifizierung in Echtzeit im öffentlichen Raum beispielsweise wird komplett untersagt, mit einigen Ausnahmen für die Strafverfolgung. Der Fokus in dieser Woche lag darauf, wie weit diese Ausnahme gefasst werden soll.
Hochrisiko-KI-Systeme machen nach Angaben der Europäischen Kommission etwa 5 bis 15 % aller Systeme aus. Davon wären viele Anwendungsfälle im öffentlichen Sektor betroffen, beispielsweise im Justizwesen oder in der Strafverfolgung, aber auch in anderen hochsensiblen Bereichen wie dem Bildungs- oder dem Gesundheitswesen. Das Gesetz wird Regeln für das Risikomanagement und die Data Governance festlegen, um sicherzustellen, dass die menschliche Aufsicht gewahrt bleibt. Möglicherweise gibt es eine neue Kategorie, auf die man sich erst letzte Woche geeinigt hat. Wir wissen, dass der Gesetzesentwurf Systeme in verbotene Systeme, Hochrisikosysteme und Systeme mit geringem Risiko unterteilt. Nun wurde eine Kategorie für „systemische Risiken“ eingeführt. Diese Kategorie ist für KI-Modelle mit allgemeinem Verwendungszweck gedacht. Hier könnte ein Streitpunkt liegen – konkret geht es um den Schwellenwert für die Rechenleistung, ab dem ein KI-System als systemisches Risiko eingestuft wird. Derzeit liegt dieser Schwellenwert nach Ansicht unseres Instituts recht hoch. Der vorgeschlagene Schwellenwert von 10^25 FLOPs erfasst derzeit nur ein einziges Modell auf dem Markt: GPT-4. Gemini von Google Deepmind fällt eventuell ebenfalls darunter, aber das ist noch unklar.
Was das Jahr 2024 betrifft, so wird der Schwerpunkt im ersten Quartal weiterhin auf der Formulierung des juristisch-technischen Gesetzestextes liegen. Die Interessenvertreter werden weiterhin versuchen, diesen Prozess zu beeinflussen – die Erwägungsgründe des KI-Gesetzes und die Präzisierung des Gesetzestextes werden von entscheidender Bedeutung sein. Diese Arbeit darf im frühen Teil des nächsten Jahres keinesfalls vernachlässigt werden. Eine potenziell interessante Entwicklung ist die Vereinbarung über Verhaltensregeln für systemische KI-Modelle mit allgemeinem Verwendungszweck. Zu Beginn wird es sich dabei um unverbindliche Leitlinien für Anbieter von Mehrzweck-KI handeln. Dies bietet der Zivilgesellschaft eine Möglichkeit zur Beteiligung, was äußerst wichtig ist. Ab etwa dem zweiten Quartal des nächsten Jahres wird der Fokus stark auf diesen Verhaltensregeln liegen. Wenn dies gut umgesetzt wird, könnte es das demokratische Defizit des Standardisierungsprozesses ausgleichen. Der letzte Punkt, den es hervorzuheben gilt, ist die Arbeit der EU an einer Richtlinie über die Haftung für KI – auch wenn diese aufgrund der EU-Wahlen im nächsten Jahr unterbrochen werden wird.
Wir haben über das Thema KI-Sicherheit im europäischen Kontext gesprochen. Eine Zeit lang haben die USA bei der Regulierung keine führende Rolle eingenommen, doch das hat sich mit der Executive Order von Präsident Biden zu KI nun geändert. Wie ist die Stimmung in den USA? Wie wird die Executive Order im kommenden Jahr voraussichtlich umgesetzt?
CA: Als kurze Zusammenfassung: Die Executive Order (EO) wurde am 30. Oktober veröffentlicht, unmittelbar vor dem KI-Sicherheitsgipfel in Großbritannien. Mit ihren 111 Seiten war diese Verfügung die längste und umfassendste EO der Biden-Administration zu Technologie- oder Digitalpolitik, die es je gab. Das zeigt deutlich, wie entschlossen die Regierung vorgeht und wie proaktiv sie dieses Thema angehen will.
Die EO bindet 50 verschiedene Behörden und Institutionen ein, wobei das Handelsministerium federführend bei der Umsetzung ist, insbesondere das NIST (National Institute for Standards and Technology). Dieses ist Ihnen vielleicht im Zusammenhang mit dem KI-Risikomanagement-Framework bekannt, einem führenden freiwilligen Standardwerk für KI-Governance. Die Verfügung enthält zudem über 150 neue Richtlinien – sprich Maßnahmen, Berichte, Leitfäden, Regeln oder Richtlinien –, die von den Behörden innerhalb der nächsten 30 bis 365 Tage umzusetzen und in eigenen Berichten festzuhalten sind. Unter dem Strich steht fest: Es gibt hier extrem viel zu tun. Und die Resonanz war überaus positiv.
In meinen Gesprächen mit Vertretern im Kongress sowie mit Regierungs- und Branchenvertretern spüre ich eine große Begeisterung für den Fahrplan und den Weg, den die Executive Order vorgibt, und ein großes Interesse daran, wie sie in der Praxis umgesetzt wird.
Dies unterscheidet sich von früheren Verfügungen, insbesondere der Executive Order der Trump-Administration zu vertrauenswürdiger KI. In jener EO gab es viele Richtlinien, die letztlich nicht vollständig umgesetzt wurden. Dazu gehörten beispielsweise die Erfassung von KI-Anwendungsfällen, die Entwicklung verschiedener Leitfäden zum Risikomanagement für unterschiedliche Behörden sowie ein Entwurf des Office of Management and Budget mit Richtlinien für den verantwortungsvollen Einsatz und die Implementierung von KI. Nichts davon wurde finalisiert. Ich denke, bei der aktuellen Executive Order werden wir aufgrund des veränderten Tons und der klaren Ausrichtung einen viel stärkeren Fokus auf die Implementierung und einen gesamtstaatlichen Ansatz zur Umsetzung sehen.
Es ist wichtig zu verstehen, dass die US-Regierung bereits vor dem Erlass der EO erhebliche Arbeit im Bereich der KI-Governance geleistet hat. Zwar hat der Kongress kein umfassendes Bundesgesetz oder horizontales Gesetz zur KI-Governance verabschiedet, wie wir es in der EU sehen. Aber viele Behörden innerhalb der Regierung (wie die EEOC – Equal Employment Opportunity Commission, das NIST mit dem AI Risk Management Framework oder das CFPB – Consumer Financial Protection Bureau) haben bereits verschiedene Richtlinien herausgegeben, um bekannten KI-Risiken und -Schäden zu begegnen. Die neue Executive Order baut auf der hervorragenden Arbeit auf, die viele dieser Behörden bereits geleistet haben. Diese Arbeit hat maßgeblich dazu beigetragen, die Richtung dieser EO vorzugeben.
Die EO deckt ein wirklich breites Spektrum an Themen ab: Sie konzentriert sich auf die nationale Sicherheit im Zusammenhang mit dem Modellzugriff und dem Schutz vor zukünftigen Risiken. Ein starker Fokus liegt zudem auf Datenschutz, Verbraucherschutz und geistigem Eigentum.
Eine Anforderung an die Behörden in diesem Zusammenhang ist die Katalogisierung verschiedener Datenquellen, auch von Datenhändlern, um die Auswirkungen auf die Privatsphäre wirklich zu verstehen – also die Frage, woher die Daten für diese Modelle stammen. Viele Vertreter der Zivilgesellschaft und auch ich persönlich sind sehr gespannt darauf, wie sich dies entwickeln wird. Das US-Patent- und Markenamt wird neue Richtlinien zu IP-Regeln und zur Erfinderschaft von KI herausgeben. Auch das wird äußerst interessant sein.
Die Executive Order legt zudem einen starken Fokus auf Fragen der Chancengleichheit und Antidiskriminierung. Sie beauftragt führende Regulierungsbehörden der US-Regierung, das Justizministerium (DOJ), die EEOC und andere Stellen im Heimatschutzministerium (DHS), sich zusammenzusetzen und zu beschließen, wie sie investieren und möglicherweise neue Leitlinien für die Durchsetzung von Maßnahmen gegen KI-bedingte Diskriminierung erstellen wollen. Einen derart koordinierten Ansatz gab es bisher noch nicht. Die EO hat dies formell verankert. Wir sprechen hier über Themen wie Nichtdiskriminierung im Wohnungsbau, bei der Kreditvergabe und andere Bereiche, in denen KI-bedingte Benachteiligungen seit langem bekannt und gut dokumentiert sind. Es wird hochinteressant sein zu sehen, wie die Regierung eine Durchsetzungsstrategie für diese Themen entwickelt.
Die EO befasst sich auch mit Arbeitsrecht und Arbeitnehmerrechten. Sie fordert die Behörden auf, Richtlinien zur Nutzung von KI-Systemen im eigenen Haus oder bei Bundesauftragnehmern im Rahmen von Einstellungsprozessen vorzulegen. Wir alle haben vom UK AI Safety Institute gehört. Das NIST selbst hat nun ebenfalls ein AI Safety Institute eingerichtet, das intensiv an der Überprüfung der Sicherheit und Robustheit von Foundation-Modellen arbeiten wird. Dazu gehört die Entwicklung von Red-Teaming-Prozessen und der Ausbau bestehender Risikomanagement-Prozesse, um die Sicherheit dieser Modelle signifikant zu verbessern.
Und schließlich konzentriert sich die Executive Order sehr stark darauf, KI-Talente für die US-Regierung zu gewinnen. Es ist eine traurige, aber reale Statistik: Nur 1 % der Promovierenden im Bereich Informatik und KI in den USA nehmen nach ihrem Abschluss eine Tätigkeit im öffentlichen Dienst des Bundes auf. Ein Großteil der hochtalentierten KI-Fachkräfte geht in den privaten Sektor, in die akademische Forschung oder in große Labors. Nur ein winziger Bruchteil entscheidet sich für den öffentlichen Sektor, um an dessen Zielen und Bedürfnissen mitzuwirken und öffentliche Dienstleistungen zu verbessern. Die Executive Order schafft hier neue Regeln und Erleichterungen – unter anderem kleine Änderungen an den Einwanderungsrichtlinien, um im Ausland geborenen, aber in den USA ausgebildeten KI-Spezialisten den Verbleib im Land zu ermöglichen, damit sie zum US-Ökosystem beitragen können. Das ist ein sehr grober Überblick über die Kernthemen, die sich durch diese Executive Order ziehen.
Was passiert in Großbritannien? Ich weiß, dass Sie eng in die dortigen Diskussionen eingebunden waren, sowohl mit führenden KI-Experten als auch mit der Regierung in der Downing Street. Gab es seit dem AI Safety Summit Fortschritte?
RD: Um die Entwicklungen in Großbritannien kurz zusammenzufassen: Die Regierung verfolgte ursprünglich einen innovationsfreundlichen Ansatz zur Regulierung künstlicher Intelligenz. Das Ziel war es, das Vereinigte Königreich als weltweit führenden Standort für künstliche Intelligenz zu etablieren. Dies knüpft an viele der bereits genannten Punkte an: die Förderung von Talenten und die Sicherstellung, dass Organisationen nicht übermäßig belastet werden. Es ging darum, wie die Regierung eine Infrastruktur aufbauen kann, die Innovationen rund um diese bahnbrechenden Technologien wirklich fördert. Das erste Whitepaper dazu wurde vor einigen Jahren veröffentlicht. Wir haben uns als Unternehmen direkt mit Vorschlägen eingebracht. Anfangs handelte es sich eher um unverbindliche Leitlinien. Im Laufe der Zeit spiegelte das Feedback jedoch wider, dass dieser innovationsfreundliche Regulierungsansatz keine wirkliche Durchsetzungskraft besaß. Die Regierung nahm sich dieses Feedback zu Herzen und stand vor der Entscheidung: Soll KI reguliert werden oder nicht?
Der zweite Entwurf des innovationsfreundlichen Ansatzes war recht kreativ. Ich sprach von zwei Optionen, aber es gab wohl noch eine dritte: Der Plan für die KI-Regulierung im Vereinigten Königreich besteht darin, die Verantwortung für die Regulierung auf die bestehenden Sektor-Aufsichtsbehörden zu übertragen. Man sagt ihnen quasi: „Ihr seid die Finanzaufsicht oder die Wettbewerbsbehörde und reguliert euren Bereich ohnehin schon. Schaut euch nun bitte auch an, wie KI in eurem bestehenden Zuständigkeitsbereich eingesetzt wird.“ Das beinhaltet die Sicherstellung, dass KI-Systeme sektorübergreifende Prinzipien einhalten. Dieser Ansatz legt der Industrie eine klare Pflicht auf.
Es gab Überlegungen, noch weiter zu gehen und ein eigenes KI-Gesetz einzubringen, und ich denke, die Regierung hat dies definitiv im Detail geprüft. Bis zum Sicherheitsgipfel war dies eine offene Frage. Nach dem Summit wurde jedoch beschlossen, im Vereinigten Königreich vorerst keine zusätzlichen gesetzlichen Regelungen einzuführen. Es gab zwar einen zusätzlichen Gesetzesentwurf für selbstfahrende Autos und autonome Fahrzeuge, aber nichts Vergleichbares zum EU-KI-Gesetz, das zu diesem Zeitpunkt wohl viele im Sinn hatten. Ein neuer Entwurf dieses innovationsfreundlichen Ansatzes wird im neuen Jahr veröffentlicht. Ich habe mich dazu sehr eng mit Vertretern des DSIT ausgetauscht. Es ist äußerst unwahrscheinlich, dass im Vereinigten Königreich ein horizontales Gesetz verabschiedet wird, wie wir es in Europa sehen.
Der Ansatz unterscheidet sich in vielerlei Hinsicht. Einer der größten Kritikpunkte an diesem innovationsfreundlichen Ansatz und der Übertragung der Verantwortung auf die Branchenaufsichten ist das Fehlen einer koordinierenden Instanz. Ohne eine zentrale Stelle, die im Hintergrund die Fäden zusammenhält, interpretiert eine Behörde möglicherweise einen Aspekt der Wertschöpfungskette so, während eine andere Behörde dieselbe Frage völlig entgegengesetzt auslegt. Dies führt zu großer Unsicherheit am Markt. Das ist ein Feedback, an dem die Regierung in der neuesten Version des Whitepapers arbeitet. Umgekehrt verhält es sich beim EU-KI-Gesetz: Hier lautet die Kritik oft, das Gesetz sei zu horizontal und lasse den Blick für spezifische Branchen und deren Nuancen vermissen.
Wir haben nun verschiedene Regulierungsansätze in den USA, der EU und Großbritannien diskutiert. Wir wissen auch, dass es ähnliche Bestrebungen in Brasilien, China und vielen anderen Teilen der Welt gibt. Warum wäre eine internationale Harmonisierung so wertvoll und welche Vorteile sehen Sie in der Etablierung globaler Standards?
MK: Ich spreche gerne über SWIFT und den Ansatz, den wir verfolgen, um diese Herausforderungen zu bewältigen. Zur Einführung: SWIFT steht für die Society for Worldwide Interbank Financial Telecommunication. Wir sind eine neutrale, genossenschaftliche Organisation, die die Infrastruktur für den internationalen Zahlungsverkehr betreibt. Governance wird bei uns extrem großgeschrieben. Im Dialog mit unseren Kunden, den großen Finanzinstituten, verweisen wir stets auf die äußerst umfassenden und ausgereiften Risikomanagement-Kapazitäten, die bei etablierten Finanzdienstleistern bereits vorhanden sind. Im Rahmen des „Three Lines of Defense“-Modells verfügen wir über Lieferantenmanagement, Produkt-Governance, Data Governance, Sicherheitskontrollen, Datenschutzprüfungen usw. Wir haben unzählige Ausschüsse, Prozesse und Heerscharen von Mitarbeitern, die sich mit diesen Themen befassen. Damit sind wir bereits zu 70 % auf das ausgerichtet, was sich die Regulierungsbehörden wünschen.
In einigen Bereichen mag es noch die eine oder andere Lücke geben. Aber es geht letztlich auch darum, das Vokabular der KI-Governance-Regulierung zu adaptieren – etwa Erklärbarkeit, was im rechtlichen Sinne der Risiko- und Haftungsfrage entspricht. Und Prinzipien wie Fairness existieren ohnehin bereits in Form von Nichtdiskriminierung usw.
Es geht also eher darum, aus den vielen bereits vorhandenen Prozessen – Risikobewertung, Risikoidentifikation, Auswirkungsmonitoring etc. – genau die Management-Informationen anhand bestimmter Metriken herauszufiltern, die Regulierungsbehörden für eine verantwortungsvolle KI und ein KI-Risikomanagement sehen wollen. Diese Metriken erstrecken sich über verschiedene Dimensionen: Fairness, Prüfbarkeit, Rechenschaftspflicht, Genauigkeit. Diese Informationen müssen dann so standardisiert aufbereitet werden, dass sie auch für Führungskräfte in der Organisation (auf Vorstandsebene, im Aufsichtsrat, für den Chief Risk Officer, den General Counsel usw.) verständlich sind, die nicht unbedingt über tiefgehendes Daten- oder KI-Fachwissen verfügen. Dies muss auf eine reproduzierbare Weise geschehen, die der Führungsebene die nötige Sicherheit gibt, um fundierte Entscheidungen zu treffen, und die als Nachweis für alle Stakeholder dienen kann – sei es für die Aufsichtsbehörde, für Kunden oder für andere Interessengruppen.
Was ich den Kunden da draußen sagen möchte, ist: Keine Panik. Wenn Sie eine etablierte Institution sind, verfügen Sie bereits über ein enormes Maß an Risikomanagement-Kapazitäten, um KI-Governance erfolgreich zu bewältigen.
Was globale Standards betrifft, so werden Ihnen die Unternehmenskultur, die Fähigkeit zur Durchführung allgemeiner Risikomanagement-Prozesse sowie die vorhandene Infrastruktur die geforderten Nachweise liefern. Setzen Sie Ihre eigenen Standards in Ihrem eigenen Kontext. Diese können Sie dann über verschiedene Strategien an die Anforderungen lokaler Gesetzgebungen anpassen: Nutzen Sie beispielsweise Partnerschaften in verschiedenen Teilen der Welt – sei es innerhalb Ihres Kundenstamms, Ihres Netzwerks an Dienstleistern, mit der Wissenschaft oder mit Regulierungsbehörden. Sie können in Arbeitsgruppen mitwirken, die sich mit neuen Bereichen wie „Privacy-Enhancing Technologies“ befassen, um zu verstehen, welchen Standards diese folgen, den lokalen Kontext für bestimmte Regionen zu erlernen und die von Ihnen erbrachten Nachweise so aufzubereiten, dass sie den lokalen Vorschriften entsprechen.
Ich glaube, Connor sprach vorhin über Kategorien und Schwellenwerte. Ich fürchte, so funktioniert Regulierung nun einmal. Regulierungsbehörden arbeiten immer mit Kategorisierungen. Und dann beschweren sich die Leute, dass Dinge in der falschen Schublade liegen oder der Schwellenwert falsch angesetzt ist – aber das passt sich im Laufe der Zeit an. Ich finde, die Regulierungsbehörden haben weltweit einen recht guten Job gemacht, wenn man bedenkt, dass die meisten politischen Entscheidungsträger keine Experten für maschinelles Lernen sind. Das NIST ist hier eine Schlüsselorganisation, an der man sich orientieren sollte. Es gibt derzeit enorm viel Rauschen darüber, was Best Practice bei der KI-Governance ausmacht und wie man mit all den verschiedenen neuen regulatorischen Standards umgeht. Das Verhältnis von Signal zu Rauschen hat sich im letzten Jahr leider verschlechtert. Es ist viel schwieriger geworden, zu durchschauen, welchen Organisationen man tatsächlich vertrauen kann. Das Beste, was Sie tun können, ist, auf dem aufzubauen, was Sie bereits haben – zum Beispiel auf den drei Verteidigungslinien.
Zu Ryans Punkten bezüglich des Vereinigten Königreichs denke ich, dass das Land in dreierlei Hinsicht recht klug agiert hat. Erstens haben sie das AI Safety Institute gegründet. Das Vereinigte Königreich wird Einblick in alle hochentwickelten Foundation-Modelle von US-Unternehmen erhalten, da diese von US- und britischen Behörden geprüft werden. Zweitens ist das Vereinigte Königreich weiterhin Mitglied des Normungsgremiums, das die Standards für die EU-Regulierung festlegt. In gewisser Weise sitzt das Vereinigte Königreich also bei der Standardisierungsphase des EU-Gesetzes nach wie vor mit am Tisch. Drittens werden die Anforderungen des EU-Gesetzes an Unternehmen, das Vorhandensein eines Risikomanagementsystems nachzuweisen, ein Segen für professionelle Beratungsunternehmen sein, von denen viele ihren Sitz in London haben. Wir werden also vermutlich erleben, dass etliche von ihnen durch dieses Gesetz florierende Geschäfte machen werden.
Sie erwähnen die drei Verteidigungslinien („Three Lines of Defense“). Dies ist ein Konzept, das im Finanzdienstleistungs- und Versicherungssektor sehr geläufig ist, in anderen Branchen jedoch weniger. Wie anwendbar sind diese drei Verteidigungslinien bei der Bewältigung von KI-Risiken und sollten sich Ihrer Meinung nach auch andere Organisationen damit befassen?
MK: Das hängt stark von der jeweiligen Branche ab. Die Kernbotschaft des AI Safety Summit war, dass es in der Geschichte der Menschheit immer wieder Sektoren gab, die anfangs als unsicher galten und deren Nutzung den Menschen Sorgen bereitete – was heute jedoch nicht mehr der Fall ist. Durch Sicherheitsstandards ist es uns gelungen, diese Risiken zu beherrschen und das Vertrauen der Gesellschaft zu gewinnen. Wenn wir uns die Luftfahrt oder den Transportsektor im Allgemeinen ansehen: Niemand sorgt sich heute mehr, in ein Flugzeug zu steigen, weil wir wissen, dass es strenge Sicherheitskontrollen und Vorschriften gibt. Wenn wir uns die Pharmaindustrie und den phasenweisen Ansatz bei klinischen Studien ansehen, so ist dies ein Modell, das manche auch für Foundation-Modelle vorschlagen. Ein Teil der Aufgabe der Sicherheitsinstitute besteht darin, zu prüfen, inwieweit sich Standards aus diesen stark regulierten Sektoren auf das KI-Universum übertragen lassen.
Das Modell der drei Verteidigungslinien ist sehr spezifisch auf den Finanzsektor zugeschnitten. Der Kern des Konzepts ist jedoch auch für andere Branchen absolut sinnvoll. Die erste Linie ist das operative Geschäft, die Produktverantwortlichen. Sie sind Inhaber des Risikos und tragen die Verantwortung dafür, Risiken zu identifizieren, Kontrollen festzulegen, Maßnahmen zur Risikominderung umzusetzen und die Ergebnisse zu überwachen. Die Rechenschaftspflicht liegt beim operativen Geschäft. Die zweite Linie umfasst alle unterstützenden Partner – die Risikomanager, die Rechtsabteilung, das Data-Governance-Team, das Cybersecurity-Team usw. Sie bringen ihr Fachwissen ein, um in interdisziplinären Workshops die Reaktionen des operativen Geschäfts auf den Prüfstand zu stellen. Sie helfen dabei, alle Risiken zu erfassen, zu registrieren und quantitativ im Vergleich zur definierten Risikoappetit-Grenze für ein bestimmtes Projekt zu bewerten. Die zweite Linie unterstützt Sie somit bei der Überwachung. Und die dritte Linie sind die Auditoren, die in regelmäßigen Abständen überprüfen, ob all die Arbeit, die Sie bei der Identifizierung und dem Management von Risiken geleistet haben, auch tatsächlich so durchgeführt wurde, wie Sie es angeben. Generell geht es um die Frage, welche Sicherheitsmaßnahmen in bereits hochentwickelten Branchen existieren und wie sich diese auf diesen Sektor übertragen lassen.
Entscheidend ist, dass die Maßnahmen spezifisch auf Ihre Tätigkeit abgestimmt sind. Wenn Sie einen B2B-Dienst zur Erkennung von Anomalien mittels logistischer Regression auf tabellarischen Backoffice-Daten betreiben, dann sind grundlegende Menschenrechtsfragen sicherlich nicht das größte Risiko beim Einsatz Ihrer KI.
Wir haben hier einen sehr interessanten Punkt bezüglich der Eigenverantwortung für Risiken angesprochen. Das führt uns direkt zu Fragen der Rechenschaftspflicht. Wo liegt Ihrer Meinung nach die letztendliche Verantwortung für das Management von KI-Risiken über die gesamte Wertschöpfungskette hinweg?
CD: Am Ada Lovelace Institute haben wir uns intensiv mit dieser Frage befasst. Passend zu Martins Ausführungen lässt sich das Konzept der verschiedenen Verteidigungslinien hervorragend auf die KI-Wertschöpfungskette übertragen. Eine der Herausforderungen beim EU-KI-Gesetz bestand darin, dass der Fokus stark auf der Phase der Bereitstellung lag, weil man einen produktsicherheitsrechtlichen Ansatz gewählt hat. In unserer Forschung am Institut stellen wir jedoch immer wieder fest, dass die Realität weitaus komplexer ist. Risiken können an jedem Punkt der Wertschöpfungskette entstehen, weshalb es keine Universallösung für die Zuweisung der Rechenschaftspflicht gibt.
Klar ist, dass die Verantwortung entlang der Wertschöpfungskette aufgeteilt werden muss. Entscheidungen, die in der Design- und Entwicklungsphase getroffen werden, oder die Auswahl der Daten, mit denen das Modell trainiert wird, haben zweifellos Auswirkungen auf die Ergebnisse – selbst auf der Anwendungsebene bei der Bereitstellung. Sich zu fragen, wo das Risiko seinen Ursprung hat, ist ein nützlicher Ansatzpunkt. Der Ursprung des Risikos ist von entscheidender Bedeutung. Auch die Verbreitung von Risiken ist ein zentraler Punkt, den Regulierungsbehörden in den Fokus rücken müssen. Ein Risiko kann sich beispielsweise vervielfachen, sobald ein Modell auf einem Cloud-Hosting-Dienst hochgeladen oder über einen API-Zugang bereitgestellt wird. Genau dann kann ein potenzieller Schaden durch die breitere Zugänglichkeit drastisch verstärkt werden. Dies ist für Regulierungsbehörden ein wichtiger Hebel, um anzusetzen und zu fragen: Wo entsteht das Risiko und wie kann es gemindert werden?
Wir können die Rechenschaftspflicht nicht pauschal einer einzigen Stelle zuweisen – sie muss geteilt werden und sehr gezielt dort ansetzen, wo das Risiko entsteht. Es gibt interessante Governance-Modelle in anderen Sektoren, von denen wir lernen können – wie die drei Verteidigungslinien. Wir haben uns kürzlich die Regulierung der Life Sciences in den USA angesehen und untersucht, wie eine „FDA für KI“ aussehen könnte. Wir werden in den nächsten Tagen eine Forschungsarbeit dazu veröffentlichen. Der Schlüssel liegt darin, Zugang zu hochrelevanten Informationen zu erhalten, um die Informationsasymmetrie zwischen Entwicklern und Regulierungsbehörden auszugleichen. Die US-Arzneimittelbehörde (FDA) hat beispielsweise Zugang zu allen notwendigen Informationen, um Medizinprodukte zu regulieren. Es besteht eine kontinuierliche Beziehung zwischen dem Entwickler und der Behörde während des gesamten Produktlebenszyklus. Es gibt Möglichkeiten für eine gezielte Überprüfung auf der Grundlage spezifischer Standards. Dies ist ein hervorragender Weg, um mit Wertschöpfungsketten umzugehen, in denen der Ursprung des Risikos unklar ist. Zudem bietet es der Regulierungsbehörde die Möglichkeit, im Laufe der Zeit zu lernen und Kompetenzen aufzubauen, indem Kontrollpunkte definiert werden, an denen sie Zugang zu wertvollen Informationen erhält.
Vor der Markteinführung liegt eine erhebliche Verantwortung bei den Entwicklern und Anwendern. Nach der Markteinführung bedarf es dann einer starken Regulierungsbehörde, die das Risiko über den gesamten Lebenszyklus hinweg überwachen kann. Dies führt uns wahrscheinlich zur zweiten und dritten Verteidigungslinie, die durch ein von uns so genanntes „Ökosystem der Inspektion“ gestützt werden sollte. Das bedeutet konkret: Zugang für Auditoren, wie Martin erwähnte, oder Zugang für überprüfte Red-Teamer.
Die größte Herausforderung ist eine Frage der Anreize. Das KI-Gesetz wird vermutlich keine Verpflichtung zu unabhängigen Audits oder Adversarial Testing durch überprüfte Red-Teamer vorschreiben. Es stellt sich also die Frage, welche Anreize es für Anbieter gibt, die sich einer solchen Überprüfung ohne gesetzliche Verpflichtung nicht unbedingt unterziehen würden. Das ist das Thema, mit dem wir uns in Zukunft beschäftigen werden.
Wir haben eine Frage aus dem Publikum: Arbeiten Sie an einem Mapping-Dokument, das das NIST-Risikomanagement-Framework mit dem EU-KI-Gesetz abgleicht?
CA: Es gab bereits sehr viele verschiedene Mapping-Initiativen zwischen dem Risk Management Framework (RMF), dem EU-KI-Gesetz und diversen anderen Vorschlägen. Ich kann gerne einige Ressourcen heraussuchen und sie mit Ihnen allen teilen, damit Sie sie vorliegen haben.
MK: Selbst wenn ein solches Dokument existiert, wird es in Zukunft keinen Punkt geben, an dem wir absolute Rechtssicherheit über die Anforderungen in einer bestimmten Rechtsordnung haben werden. Es wird immer ein dynamischer Prozess bleiben. Wir werden uns stets in einem gewissen Maße an Unsicherheit bewegen und müssen lernen, damit umzugehen. Ein Teil der Lösung besteht darin, eigene Standards zu entwickeln, die spezifisch auf den eigenen Kontext abgestimmt sind. Gehen Sie zurück zum Anfang: Überlassen Sie es nicht den politischen Entscheidungsträgern, sondern erarbeiten Sie es in Ihrem eigenen Kontext selbst. Definieren Sie eigene Standards und erstellen Sie einen entsprechenden Audit Trail. Diesen Audit Trail können Sie nutzen, wenn Sie Transparenz für die Rechenschaftspflicht in jeder Phase des Lebenszyklus herstellen wollen.
Ich möchte jedoch davor warnen, zu glauben, man könne die Standards und Anforderungen der verschiedenen Länder einfach in ein LLM oder eine Mapping-Plattform einspeisen, um dann nur noch Checkboxen abzuhaken, um auf der sicheren Seite zu sein. Das ist in einem so dynamischen Umfeld schlicht unrealistisch.
RD: Dem stimme ich vollkommen zu. Wir werden in Kürze einen kostenlosen Leitfaden zur KI-Richtlinie veröffentlichen, der genau diese Punkte aufgreift: Man muss diese Frameworks individuell an die eigene Organisation anpassen und verstehen, worauf es im Einzelfall ankommt. Es geht nicht darum, einfach Standardlösungen von der Stange zu übernehmen.
Es gibt eine Frage zum Thema geistiges Eigentum und wie sich das geistige Eigentum in diesem Bereich entwickeln wird.
Ryan: Anreize spielen auch hier eine zentrale Rolle, und diese sind nicht immer so, wie man es zunächst vermuten würde. Um ein Beispiel aus der Praxis zu nennen: Bei vielen der großen Foundation-Modelle gibt es gravierende Bedenken hinsichtlich des geistigen Eigentums, da sie ihre Daten praktisch überall zusammengetragen haben. Einige der größeren Anbieter – insbesondere jene, die bereits über große eigene Datensätze verfügen – bieten mittlerweile Haftungsfreistellungen für geistiges Eigentum an. Sie sagen quasi: „Wir stellen Sie von allen Ansprüchen Dritter wegen Verletzung von IP-Rechten weltweit frei, weil wir uns so sicher sind, dass wir Eigentümer aller Trainingsdaten dieses Modells sind, dass wir einen solchen Fall für nahezu ausgeschlossen halten.“ Das schafft verständlicherweise sehr großes Vertrauen in diese Produkte.
Anstatt auf spezifische Gesetze für geistiges Eigentum und diese großen Modelle zu warten, ergreifen Unternehmen selbst die Initiative und nehmen dieses Risiko komplett aus den Händen der Kunden. Sie machen ihre Tools vertrauenswürdig. Das ist ein äußerst überzeugender Ansatz, der zeigt, dass die Anreize manchmal ganz anders gelagert sind, als man anfangs denkt. Ähnliches lässt sich im Bereich der Cybersecurity beobachten: Hier erfüllen SaaS-Unternehmen (Software as a Service) extrem hohe Standards wie ISO/IEC 27001 oder SOC 2, obwohl diese von den Regulierungsbehörden gar nicht zwingend vorgeschrieben sind.
Aber es gibt klare Markt-Anreize für Unternehmen, diese Standards einzuhalten. Denn niemand wird Ihre Software kaufen, wenn Sie nicht die höchstmöglichen Cybersecurity-Standards zum Schutz der Kundendaten nachweisen können. Dieser Markt-Anreiz wird manchmal übersehen.
Die Executive Order wird enorme Auswirkungen haben, aber es gibt in den USA ja auch viele Initiativen auf Bundesstaatsebene, nicht wahr? Ich denke da beispielsweise an das New Yorker Local Law 144. Diese Gesetze scheinen sich auf Bundesstaatsebene und auf spezifische Branchen zu konzentrieren. Wie werden all diese Maßnahmen mit der übergeordneten Bundesgesetzgebung interagieren?
CA: Das ist ein sehr wichtiger Punkt. Wir werden im nächsten Jahr eine enorme Aktivität auf Ebene der Bundesstaaten sehen, insbesondere solange ein Handeln des Kongresses ausbleibt. Der Fokus lag stark auf den „AI Insight Forums“ des Mehrheitsführers im Senat, Chuck Schumer. Er hat rund zehn verschiedene Expertenrunden zu spezifischen Themen wie Transparenz, Erklärbarkeit, nationale Sicherheit, Voreingenommenheit (Bias) und Bürgerrechte einberufen. Die politischen Realitäten in Washington sind jedoch, wie sie sind. Im nächsten Jahr steht uns eine wegweisende Präsidentschaftswahl bevor. Es ist äußerst unwahrscheinlich, dass wir – selbst wenn wir im Senat auf Basis der Foren und der Umsetzung der Executive Order gute Fortschritte erzielen – ein umfassendes Bundesgesetz verabschieden oder viele der KI-Risiken, die uns Sorgen bereiten, gesetzlich regeln können.
In dieses Vakuum stoßen nun viele Bundesstaaten vor. New York City hat das Local Law 144 verabschiedet, das Bias-Audits für den Einsatz von KI-Technologien im Rahmen von Bewerbungs- und Einstellungsverfahren vorschreibt. Wenn Ihr Unternehmen KI-gestützte Mitarbeiterüberwachung, Interviews oder Check-ins nutzt, müssen Sie ein Bias-Audit durchführen. Die Details der Umsetzung werden derzeit noch ausgearbeitet. Wir werden viele sektorspezifische Gesetze sehen, ebenso wie Gesetze zur Förderung von KI-Talenten und zur Effizienzsteigerung in Landesregierungen. Was sektorspezifische Gesetze betrifft, so haben wir in Colorado ein Versicherungsgesetz, das regelt, wie Datenquellen genutzt und Daten durch KI für Versicherungsentscheidungen analysiert werden. Dieses Gesetz ist bereits in Kraft und wird aktuell umgesetzt. In Connecticut hat Senator James Maroney eine bundesstaatenübergreifende KI-Arbeitsgruppe ins Leben gerufen, die Abgeordnete verschiedener Bundesstaaten zusammenbringt, die sich intensiv mit Themen wie Bias, Diskriminierung oder der Integrität von Wahlen befassen.
Und können Sie uns sagen, wie sich die Präsidentschaftswahl 2024 auf die Umsetzung von Bidens Executive Order zu KI auswirken könnte?
CA: Ich weiß sehr genau, dass die Biden-Administration extrem darauf fokussiert ist, so viel wie möglich von dieser Executive Order noch vor dem Wahljahr umzusetzen. Dies gilt insbesondere vor dem Hintergrund, dass die letzte Executive Order zu KI bei der praktischen Umsetzung hinter den Erwartungen zurückgeblieben ist. Es wird sehr interessant sein zu sehen, was nächstes Jahr passiert. Trump hat sich im Wahlkampf bereits geäußert und angekündigt, dass er am ersten Tag seiner Amtszeit die „Woke KI-Verfügung“ von Präsident Biden aufheben werde, um die Meinungsfreiheit zu schützen. Unabhängig von der eigenen politischen Haltung sind dies sehr vorhersehbare Argumente. Mein Fazit ist, dass KI-Governance in den USA ein hochpolitisches Thema ist und dies auch im Wahlkampf bleiben wird. Auf Bundesebene gibt es viel zu beobachten. Noch wichtiger ist es jedoch, die Entwicklungen in den einzelnen Bundesstaaten im Auge zu behalten, da sich dort viele aufstrebende Politiker sehr intensiv mit diesen Fragen auseinandersetzen.
In Europa stehen nächstes Jahr ebenfalls Wahlen an. Wie wird sich das auf den Zeitplan für das EU-KI-Gesetz auswirken, insbesondere im Hinblick auf dessen Inkrafttreten?
CD: Ich hoffe, dass es sich überhaupt nicht auswirkt. Es besteht eine geringe Chance, dass es zu Verzögerungen kommt. Wenn alles nach Plan läuft, muss die technische Ausarbeitung des Textes bis spätestens März abgeschlossen sein, damit die Wahl keinen Einfluss mehr darauf hat. Die eigentliche Umsetzung würde dann ab März beginnen. Derzeit sieht es so aus, als ob mehr als genug Zeit vorhanden ist. Ich erwarte keine größeren Hindernisse. Schwierig könnte es werden, wenn es zu erheblichem Widerstand kommt. Frankreich könnte in einer destruktiven Weise intervenieren, um das Gesetz zu blockieren. Sollte dies geschehen, droht bis März keine Einigung. In der Praxis würde dies bedeuten, dass die Arbeit auf 2025 verschoben wird. Das wäre gelinde gesagt chaotisch, da dann ein neu gewähltes Parlament zustande käme. Es wären nicht mehr dieselben Personen im Parlament, sodass neue Abgeordnete das Dossier mit völlig anderen Prioritäten übernehmen würden.
Unter der Annahme, dass das Gesetz verabschiedet wird, gilt eine Übergangsfrist von zwei Jahren nach der Veröffentlichung im Amtsblatt der EU, bis die Verordnung Anwendung findet. Der Text wird voraussichtlich Anfang 2024 veröffentlicht, sodass das Jahr 2026 das entscheidende Jahr sein wird, in dem die meisten KI-Anwendungen konform sein müssen. Für KI-Modelle mit allgemeinem Verwendungszweck und systemischen Risiken ist das Inkrafttreten bereits ein Jahr nach der Veröffentlichung geplant.
Damit schließen wir eine sehr aufschlussreiche Diskussion über die verantwortungsvolle Entwicklung und Governance von KI-Systemen ab. Ich möchte unseren Panel-Teilnehmern Connor, Martin, Chloe und Ryan herzlich dafür danken, dass sie ihr Fachwissen und ihre Perspektiven mit uns geteilt haben. Ein großes Dankeschön auch an alle Teilnehmer für Ihr Interesse – ich lade Sie herzlich ein, diesen Dialog auf unserer Event-Seite und in den sozialen Medien fortzusetzen.
Die vollständige Webinar-Aufzeichnung ist auf YouTube verfügbar.
Enzai ist die führende Plattform für KI-Governance in Unternehmen, die speziell entwickelt wurde, um Organisationen beim Übergang von abstrakten Richtlinien zur operativen Aufsicht zu unterstützen. Unsere KI-Risikomanagement-Plattform bietet die spezialisierte Infrastruktur, die erforderlich ist, um agentische KI-Governance zu steuern, ein umfassendes KI-Inventar zu führen und die Einhaltung des EU-KI-Gesetzes sicherzustellen. Durch die Automatisierung komplexer Workflows versetzt Enzai Unternehmen in die Lage, die Einführung von KI vertrauensvoll zu skalieren und gleichzeitig die Ausrichtung an globalen Standards wie ISO 42001 und NIST zu wahren.
Ermöglichen Sie Ihrer Organisation die Einführung, Steuerung und Überwachung von KI mit unternehmensgerechtem Vertrauen. Entwickelt für regulierte Organisationen, die im großen Maßstab operieren.