Wir freuen uns, die Erkenntnisse aus dem Expertenpanel unseres jüngsten Webinars mit Connor Dunlop (CD), European Public Policy Lead am Ada Lovelace Institute; Martin Koder (MK), AI Governance Lead bei SWIFT; Chloe Autio (CA), AI Policy and Governance Advisor; und Ryan Donnelly (RD), CEO bei Enzai, einer Lösung für KI-Governance, zu teilen. 

‍

Die Antworten der Podiumsteilnehmenden wurden aus Gründen der Länge und Klarheit redaktionell bearbeitet. 

‍

Nach der jüngsten Gesprächsrunde zum EU-KI-Gesetz in der vergangenen Woche: Was sehen Sie als die zentralen Streitpunkte, und welche Entwicklungen hoffen Sie im kommenden Jahr von der EU zu sehen? 

‍

CD: Dies ist ein bedeutsamer Moment für Brüssel und die EU – es gibt eine politische Einigung zum KI-Gesetz. Damit würde erstmals überhaupt weltweit eine horizontale Regulierung von KI geschaffen. Das war ein großer Moment. Hoffentlich wird es nicht viele Streitpunkte geben, aber wir werden in der technischen Ausarbeitung noch einige sehen. Bevor ich jedoch auf die Streitpunkte und die Entwicklungen für das nächste Jahr eingehe, möchte ich kurz erläutern, warum das KI-Gesetz wichtig ist und warum uns die politische Einigung betreffen sollte. Wie bereits erwähnt, wäre es die erste horizontale Regulierung von KI weltweit. Das ist deshalb interessant, weil tatsächlich die Nutzung bestimmter KI-Systeme verboten wird. So wäre beispielsweise die Echtzeit-Fernidentifizierung biometrischer Daten im öffentlichen Raum vollständig untersagt, mit einigen Ausnahmen für die Strafverfolgung. Der Fokus lag in dieser Woche darauf, wie weit diese Ausnahme reichen würde. 

‍

Hochrisiko-KI-Systeme könnten – laut Europäischer Kommission – 5 bis 15 % aller Systeme ausmachen. Dies würde zahlreiche Anwendungsfälle im öffentlichen Sektor erfassen, etwa im Rechtssystem oder bei der Strafverfolgung, ebenso wie weitere Sektoren mit hoher Wirkung: Bildung, Gesundheitswesen usw. Das Gesetz wird einige Regeln zu Risikomanagement, Daten-Governance und zur Sicherstellung menschlicher Aufsicht festlegen.  Möglicherweise gibt es eine neue Kategorie, die erst letzte Woche beschlossen wurde – wir wissen, dass der Entwurf des Gesetzes Systeme in verbotene Systeme, Hochrisiko-Systeme und Niedrigrisiko-Systeme einteilt, und nun wurde eine Kategorie „systemisches Risiko“ eingeführt. Diese Kategorie gilt für KI-Modelle mit allgemeinem Verwendungszweck. Hier könnte ein Streitpunkt liegen – insbesondere der Rechenleistungsschwellenwert, um ein KI-System als mit systemischen Risiken behaftet einzustufen. Derzeit ist dieser Schwellenwert – nach Auffassung unseres Instituts – recht hoch. Der vorgeschlagene Schwellenwert von 10^25 FLOPs erfasst derzeit nur ein Modell am Markt, GPT-4. Gemini von Google DeepMind könnte ebenfalls erfasst werden, aber das ist bislang nicht eindeutig.

‍

Im Hinblick auf das, was 2024 kommen wird, wird der Schwerpunkt im ersten Quartal des Jahres weiterhin auf der Ausarbeitung der technischen Sprache des Gesetzes liegen. Interessengruppen werden weiterhin versuchen, diesen Prozess zu beeinflussen – die Erwägungsgründe des KI-Gesetzes und Präzisierungen des Rechtstextes werden entscheidend sein. Diese Arbeit darf in der frühen Phase des nächsten Jahres nicht übersehen werden. Eine potenziell interessante Entwicklung ist die Einigung auf einen Verhaltenskodex für systemische KI-Modelle mit allgemeinem Verwendungszweck. Zunächst wird dies in Form unverbindlicher Leitlinien für Anbieter allgemeiner KI erfolgen. Dies ist ein Weg für die Zivilgesellschaft, sich einzubringen, was sehr wichtig ist. Vermutlich ab dem zweiten Quartal nächsten Jahres wird der Verhaltenskodex stark in den Fokus rücken. Wenn dies gut umgesetzt wird, könnte es das demokratische Defizit des Standardsetzungsprozesses adressieren. Als Letztes möchte ich auf die Arbeit der EU an einer KI-Haftungsrichtlinie hinweisen – auch wenn diese sich aufgrund der EU-Wahlen im nächsten Jahr verzögern wird.

‍

Wir haben über das Thema KI-Sicherheit im europäischen Kontext gesprochen. Und lange Zeit spielten die USA bei der Regulierung keine führende Rolle, doch das hat sich nun mit der Executive Order von Präsident Biden zur KI geändert. Wie ist die Stimmung in den USA? Wie sehen Sie die Umsetzung der Executive Order im kommenden Jahr

‍

CA: Kurz zusammengefasst: Die EO wurde am 30. Oktober kurz vor dem UK AI Summit veröffentlicht. Die Executive Order war die bislang längste und umfassendste EO der Biden-Regierung – mit 111 Seiten – zu Technologie- oder Digitalpolitik überhaupt. Sie zeigt sehr deutlich, wie bewusst die Regierung dieses Thema angeht und wie proaktiv sie dabei sein möchte.

‍

Die EO aktiviert 50 verschiedene Stellen, wobei das Handelsministerium einen großen Teil der Umsetzung leitet, insbesondere beim NIST, dem National Institute for Standards and Technology, von dem Sie möglicherweise im Zusammenhang mit seinem AI Risk Management Framework gehört haben, das ein führendes freiwilliges Standardrahmenwerk für KI-Governance darstellt. Außerdem wurden über 150 neue Anweisungen geschaffen, also Maßnahmen, Berichte, Leitlinien und jede Art von Regeln oder Politiken, die von Behörden in eigene Berichte überführt und innerhalb der nächsten 30 bis 365 Tage umgesetzt werden sollen. Unterm Strich gibt es hier sehr viel zu tun. Und die Resonanz war wirklich durchweg positiv.

‍

In meinen Gesprächen mit Personen auf dem Capitol Hill – ebenso wie mit der Regierung und der Industrie – gibt es große Begeisterung für den Fahrplan und den Weg, den die Executive Order vorgibt, sowie viel Neugier darauf, wie sie umgesetzt werden wird. 

‍

Dies unterscheidet sich von früheren Executive Orders, insbesondere von einer aus der Trump-Regierung zu vertrauenswürdiger KI. In jener Executive Order gab es viele Anweisungen, die nie wirklich vollständig umgesetzt wurden. Dazu gehörten beispielsweise die Erfassung von KI-Anwendungsfällen, die Entwicklung unterschiedlicher Arten von Risikomanagement-Leitlinien für verschiedene Behörden sowie ein Memo des Office of Management and Budget mit Vorgaben dazu, wie KI verantwortungsvoll eingeführt und umgesetzt werden soll. Nichts davon wurde finalisiert. Und deshalb denke ich, dass wir bei dieser Executive Order, gemessen an Ton und Ausrichtung, deutlich mehr Fokus auf Umsetzung und einen gesamtstaatlichen Ansatz sehen werden, um dies zu erreichen. 

‍

Es ist wichtig zu verstehen, dass die US-Regierung bereits vor der EO umfangreiche Arbeit an der KI-Governance geleistet hat. Zwar hat der Kongress bisher kein umfassendes Omnibus-Gesetz oder eine horizontale KI-Gesetzgebung zur KI-Governance verabschiedet, wie wir sie in der EU gesehen haben, doch viele Behörden innerhalb und außerhalb der Regierung – die EEOC, die Equal Employment Opportunity Commission; NIST selbst mit dem AI Risk Management Framework; die CFPB, das Consumer Financial Protection Bureau – haben unterschiedliche Leitlinien veröffentlicht, um bekannte KI-Schäden zu adressieren. Die Executive Order baut auf der hervorragenden Arbeit auf, die viele dieser Behörden bereits geleistet haben. Diese Arbeit hat die Ausrichtung dieser Executive Order mitgeprägt.

‍

Die EO befasst sich wirklich mit einem breiten Spektrum an Themen – sie konzentriert sich auf nationale Sicherheit im Zusammenhang mit dem Zugang zu Modellen und auf den Schutz vor zukünftigen Risiken. Außerdem liegt ein starker Fokus auf Datenschutz, Verbraucherschutz und geistigem Eigentum. 

‍

Eine Anforderung an Behörden in diesem Zusammenhang ist die Erfassung verschiedener Datenquellen, einschließlich Datenbrokern, um die Datenschutzimplikationen wirklich zu verstehen – also woher die Daten für diese Modelle stammen. Ich denke, viele Akteure der Zivilgesellschaft und Interessenvertreter, ich persönlich ebenfalls, sind sehr gespannt darauf, wohin das führt. Das US-Patent- und Markenamt wird hier neue Leitlinien zu IP-Regeln und zur KI-Erfinderschaft veröffentlichen. Auch das wird sehr interessant sein. 

‍

Die Executive Order legt außerdem einen starken Schwerpunkt auf Fragen der Chancengleichheit und Nichtdiskriminierung. Sie beauftragt führende Regulierungsbehörden in der US-Regierung – das DOJ, die EOC und weitere Stellen im DHS –, sich zusammenzusetzen und zu entscheiden, wie sie in Maßnahmen gegen KI-bedingte Schäden investieren und möglicherweise neue Leitlinien erarbeiten. Einen koordinierten Ansatz dafür haben wir bisher noch nicht wirklich gesehen. Die EO hat das nun eindeutig formalisiert. Dabei geht es um Themen wie Nichtdiskriminierung im Wohnungswesen, bei der Kreditvergabe und Ähnliches – also um Dinge, von denen wir alle seit Langem wissen, dass sie gut dokumentierte KI-Schäden darstellen. Es wird sehr spannend sein zu sehen, wie die Regierung eine Durchsetzungsstrategie für diese Themen entwickelt.

‍

Die EO behandelt auch Fragen rund um Arbeit und Arbeitnehmerrechte. Sie fordert Behörden auf, Leitlinien dazu bereitzustellen, wie sie KI-Systeme einsetzen könnten oder wie Bundesauftragnehmer KI-Systeme in Einstellungsverfahren nutzen. Wir alle haben vom UK AI Safety Institute gehört. Auch NIST hat ein AI Safety Institute eingerichtet, in dem umfangreiche Arbeiten zur Untersuchung der Sicherheit und Robustheit von Basismodellen und KI-Modellen stattfinden werden, einschließlich der Entwicklung von Red-Teaming-Prozessen und des Aufbaus auf bestehenden Risikomanagementprozessen, um die Sicherheit dieser Modelle deutlich zu verbessern.

‍

Und schließlich konzentriert sich die Executive Order sehr stark auf die Stärkung von KI-Talenten innerhalb der US-Regierung. Das ist eine traurige, aber reale Statistik: Nur 1 % der in den USA graduierten Doktorinnen und Doktoren in Informatik und KI tritt in den Bundesdienst ein. Wir haben eine große Zahl hochqualifizierter KI-Fachkräfte, die in den privaten Sektor, in die Wissenschaft oder in große Labore gehen. Doch nur ein kleiner Teil dieser Personen arbeitet letztlich im öffentlichen Sektor und trägt zu dessen Zielen und Bedürfnissen bei, also dazu, öffentliche Dienstleistungen zu verbessern. Die Executive Order schafft einige neue Regeln und Änderungen – kleine Anpassungen in der Einwanderungspolitik, damit im Ausland geborene, in den USA ausgebildete Personen im Bereich KI in den USA bleiben und zum US-Ökosystem beitragen können. Das ist ein sehr grober Überblick über die zentralen Themen, die sich durch diese Executive Order ziehen.

‍

Was passiert im Vereinigten Königreich? Ich weiß, dass Sie dort eng in die Gespräche eingebunden waren, sowohl mit führenden KI-Verantwortlichen als auch mit der Regierung in Downing Street. Hat es seit dem AI Safety Summit Fortschritte gegeben?

‍

RD: Um die Entwicklungen im Vereinigten Königreich kurz zusammenzufassen: Die Regierung begann mit einem innovationsfreundlichen Ansatz zur Regulierung künstlicher Intelligenz. Die Idee war, das Vereinigte Königreich als Weltmarktführer im Bereich künstliche Intelligenz zu etablieren. Das berührt viele der angesprochenen Punkte rund um die Förderung von Talenten und darum, sicherzustellen, dass Organisationen nicht übermäßig belastet werden; also darum, wie die Regierung eine Infrastruktur aufbauen kann, die Innovationen rund um diese beeindruckenden Technologien wirklich fördert. Das erste Weißbuch dazu wurde vor einigen Jahren veröffentlicht. Wir als Unternehmen haben zu diesen direkten Vorschlägen beigetragen. Anfangs wurde dies als Leitlinie konzipiert, und im Laufe der Zeit lautete ein Teil des Feedbacks, dass der innovationsfreundliche Ansatz zur Regulierung künstlicher Intelligenz nicht ausreichend wirksam sei. Man nahm dieses Feedback auf – die Regierung musste sich entscheiden: Reguliert sie KI oder reguliert sie KI nicht? 

‍

Der zweite Entwurf des innovationsfreundlichen Ansatzes war recht kreativ. Ich habe gesagt, es gebe zwei Optionen. Vielleicht gab es auch eine dritte: Der Plan zur Regulierung von KI im Vereinigten Königreich besteht darin, die Regulierungsaufgabe auf bestehende sektorale Aufsichtsbehörden zu verlagern und zu sagen: „Sie sind die Finanzaufsichtsbehörde oder die Wettbewerbsbehörde; Sie regulieren bereits Ihren Bereich. Sie sollten sich außerdem ansehen, wie KI in Ihrem bestehenden Zuständigkeitsbereich eingesetzt wird.“ Dazu gehört, sicherzustellen, dass KI-Systeme sektorübergreifende Grundsätze einhalten. Dieser Ansatz verpflichtet die Industrie.

‍

Es wurde sogar noch weitergehender über ein KI-Gesetz gesprochen, und ich denke, die Regierung hat dies definitiv ausführlich geprüft. Vor dem Safety Summit war dies eine offene Frage. Am Rande des Safety Summit fiel die Entscheidung, im Vereinigten Königreich keine zusätzliche Regulierung einzuführen. Es gab noch ein zusätzliches Gesetz zu selbstfahrenden Fahrzeugen und anderen Fahrzeugen, aber nichts Vergleichbares zum EU-KI-Gesetz, von dem ich glaube, dass einige zu diesem Zeitpunkt möglicherweise ausgegangen sind. Im neuen Jahr wird ein neuer Entwurf dieses innovationsfreundlichen Ansatzes veröffentlicht. Ich spreche darüber auch recht eng mit einigen Personen im DSIT. Es ist sehr unwahrscheinlich, dass im Vereinigten Königreich ein horizontaler Rechtsakt wie in Europa entstehen wird.

‍

Der Ansatz unterscheidet sich in vielerlei Hinsicht. Eine der größten Kritiken am innovationsfreundlichen Ansatz und an der Verlagerung der Last auf sektorale Regulierer ist, dass es keine koordinierende Funktion gibt. Ohne eine zentrale Stelle, die im Hintergrund alles zusammenführt,  kann ein Regulierer eine Auslegung eines Aspekts der Wertschöpfungskette vertreten, während ein anderer Regulierer dieselbe Frage gegenteilig auslegt. Auf dem Markt herrscht dadurch erhebliche Unsicherheit; genau darauf arbeitet die Regierung in ihrer neuesten Version des Weißbuchs hin. Umgekehrt ist die Kritik am EU-KI-Gesetz fast das Gegenteil: Manche sagen, es sei zu horizontal und man müsse branchenspezifische Besonderheiten und die damit verbundenen Nuancen stärker berücksichtigen. 

‍

Wir haben nun verschiedene Regulierungsansätze in den USA, der EU und dem Vereinigten Königreich besprochen, und wir wissen auch, dass es ähnliche Bemühungen in Brasilien, China und vielerorts auf der Welt gibt. Warum wäre internationale Kohärenz so wertvoll, und welche Vorteile sehen Sie in der Festlegung globaler Standards?

‍

MK: Ich spreche gern über SWIFT und den Ansatz, den wir verfolgen, um uns mit einigen dieser Fragen auseinanderzusetzen. Zur Einordnung: SWIFT ist die Society for Worldwide Interbank Financial Telecommunications. Wir sind eine neutrale, gemeinnützige Organisation, die die Infrastruktur für internationale Zahlungsnachrichten betreibt. Governance hat bei uns ein sehr hohes Gewicht. Wenn wir mit unseren Kunden, also großen Finanzinstituten, sprechen, verweisen wir auf die äußerst umfangreichen und ausgereiften Risikomanagement-Fähigkeiten, die bei etablierten Finanzdienstleistern bereits vorhanden sind. Nach dem Modell der drei Verteidigungslinien verfügen wir über Lieferantenmanagement, Produkt-Governance, Daten-Governance, Sicherheitskontrollen, Datenschutz-Folgenabschätzungen usw. Wir haben unzählige Ausschüsse und Prozesse sowie zahlreiche Personen, die sich mit diesen Themen befassen. Damit sind wir bereits zu etwa 70 % auf einer Linie mit dem, was politische Entscheidungsträger erreichen möchten. 

‍

In einigen Bereichen mag es eine oder zwei Lücken geben. Aber vielleicht geht es darum, die Sprache der KI-Governance-Regulierung zu verwenden – Nachvollziehbarkeit, was in rechtlicher Hinsicht bedeutet, welches Haftungsrisiko besteht. Und Grundsätze wie Fairness existieren bereits als Nichtdiskriminierung usw. 

‍

Es könnte also darum gehen, aus all den vielen bereits vorhandenen Prozessen – Risikobewertung, Identifikation, Wirkungsüberwachung usw. – die Managementinformationen zu den definierten Kennzahlen herauszuziehen, nach denen Regulierungsbehörden für verantwortungsvolle KI und KI-Risikomanagement suchen. Diese Kennzahlen decken unterschiedliche Dimensionen ab: Fairness, Prüfbarkeit, Verantwortlichkeit, Genauigkeit. Anschließend werden diese Informationen standardisiert aufbereitet, damit leitende Entscheidungsträger im Unternehmen – auf Executive-Ebene, im Vorstand, der Chief Risk Officer, der General Counsel und so weiter –, die nicht unbedingt über umfassende Daten- oder KI-Expertise verfügen, sie verstehen können. Es sollte auf eine Weise geschehen, die wiederholbar ist und der Führungsspitze belastbare Entscheidungsgrundlagen gibt sowie Zusicherungen, die gegenüber allen relevanten Stakeholdern bereitgestellt werden können – sei es gegenüber der Regulierungsbehörde, Kunden oder anderen Interessengruppen.

‍

Was ich Kundinnen und Kunden da draußen sagen würde, ist: keine Panik. Denn insbesondere wenn Sie eine reife Organisation sind, verfügen Sie bereits über erhebliche Risikomanagement-Kapazitäten, um mit KI-Governance umzugehen.

‍

Bei globalen Standards werden Sie durch die Unternehmenskultur, die Fähigkeit, allgemeine Risikomanagementprozesse durchzuführen, sowie die vorhandene Infrastruktur die verfügbaren Zusicherungen erhalten. Legen Sie Ihre eigenen Standards in Ihrem eigenen Kontext fest. Anschließend können Sie diese je nach Anforderungen lokaler Jurisdiktionen durch verschiedene Strategien wiederverwenden: etwa durch Partnerschaften mit Personen in unterschiedlichen Regionen der Welt – zum Beispiel innerhalb Ihres Kundenstamms, Ihres Lieferantennetzwerks, mit Wissenschaftlerinnen und Wissenschaftlern oder mit Regulierungsbehörden. Sie können in Lenkungsgremien mitarbeiten, um neue Bereiche wie Pet-Technologien zu betrachten, zu verstehen, welchen Standards sie folgen, den lokalen Kontext für bestimmte Bereiche kennenzulernen und die Zusicherungen, die Sie liefern können, so neu aufzubereiten, dass sie den lokalen Vorschriften entsprechen. 

‍

Ich denke, Connor sprach über Kategorien und Schwellenwerte. Leider ist das einfach die Art und Weise, wie Regulierung funktioniert. Regulierungsbehörden bilden immer Schubladen. Und dann beschweren sich Menschen darüber, dass Dinge in der falschen Schublade liegen oder der Schwellenwert falsch gesetzt ist, aber diese Dinge ändern sich im Laufe der Zeit. Ich finde, die Regulierungsbehörden haben weltweit ziemlich gute Arbeit geleistet, wenn man bedenkt, dass die meisten Policy-Verantwortlichen nicht über viel Expertise im maschinellen Lernen verfügen. NIST ist eine zentrale Organisation, die man im Blick behalten sollte. Es gibt so viel Lärm darüber, was Best Practice in der KI-Governance ausmacht und wie mit den vielen entstehenden Regulierungsstandards umzugehen ist. Im letzten Jahr ist das Signal-Rausch-Verhältnis tatsächlich noch schlechter geworden. Es ist viel schwieriger geworden zu erkennen, welchen Organisationen man tatsächlich vertrauen sollte. Das Beste, was man tun kann, ist, auf das aufzubauen, was bereits vorhanden ist – zum Beispiel auf die drei Verteidigungslinien.

‍

Zu Ryans Punkten über das Vereinigte Königreich denke ich, dass das Vereinigte Königreich in drei Dimensionen ziemlich klug vorgegangen ist. Erstens hat es das AI Safety Institute eingerichtet. Das Vereinigte Königreich wird alle hochmodernen Basismodelle von US-Unternehmen sehen können, weil sie von US- und britischen Behörden geprüft werden. Zweitens ist das Vereinigte Königreich weiterhin Mitglied des Standardisierungsgremiums, das befugt ist, die Standards für die EU-Regulierung festzulegen. In gewisser Hinsicht hat das Vereinigte Königreich beim Standardsetzungsprozess des EU-Gesetzes also weiterhin einen Platz am Tisch. Drittens werden die Anforderungen des EU-Gesetzes an Unternehmen, nachzuweisen, dass sie über ein Risikomanagementsystem verfügen, ein Segen für professionelle Beratungsunternehmen sein, von denen viele in London ansässig sind. Es ist also durchaus möglich, dass einige von ihnen mit dem Gesetz ordentlich Geschäft machen werden.

‍

Sie erwähnen die drei Verteidigungslinien. Dieses Konzept ist in den Finanzdienstleistungs- und Versicherungssektoren sehr bekannt, in anderen Branchen jedoch deutlich weniger. Wie gut eignen sich die drei Verteidigungslinien für das Management von KI-Risiken, und denken Sie, dass andere Organisationen sich damit befassen sollten?

‍

MK: Das hängt davon ab, in welchem Sektor Sie tätig sind. Im Allgemeinen war die Botschaft des AI Safety Summit, dass es in der Geschichte der Welt bestimmte Sektoren gab, die als etwas unsicher galten und deren Nutzung Menschen nervös machte – heute aber nicht mehr. Durch Sicherheitsstandards haben wir es geschafft, diese Risiken zu beherrschen und das Vertrauen der Gesellschaft zu gewinnen. Wenn wir auf die Luftfahrt oder den Verkehr im Allgemeinen schauen, macht sich niemand Sorgen, in ein Flugzeug zu steigen, weil man weiß, dass es strenge Sicherheitsprüfungen und Vorschriften gibt. Wenn wir auf die Pharmaindustrie und den gestuften Ansatz klinischer Prüfungen schauen, ist das ein Ansatz, den einige Menschen auch für Basismodelle empfehlen. Ein Teil der Aufgabe der Sicherheitsinstitute besteht darin, die Übertragbarkeit von Standards aus diesen stark regulierten Sektoren in die KI-Welt zu untersuchen. 

‍

Die drei Verteidigungslinien sind ziemlich spezifisch für den Finanzdienstleistungssektor. Doch der Kern macht auch für andere Branchen Sinn. Die erste Linie ist das Geschäft, also die Produkthalter. Sie tragen das Risiko und damit auch die Verantwortung, die Risiken zu identifizieren, Kontrollen festzulegen, Gegenmaßnahmen umzusetzen und die Ergebnisse zu überwachen. Die Verantwortung liegt beim Geschäft. Die zweite Linie sind alle Ihre Support-Partner – Risikomanager, Juristen, das Data-Governance-Team, das Cybersecurity-Team usw. Sie bringen Fachexpertise ein, etwa durch interdisziplinäre Workshops, um alle Probleme mit der Antwort des Unternehmens zu identifizieren, und helfen dem Unternehmen dabei, alle Risiken im Hinblick auf den definierten Risikoappetit für ein bestimmtes Projekt zusammenzuführen, zu erfassen und quantitativ zu bewerten. Die zweite Linie unterstützt Sie bei der Überwachung. Und die dritte Linie sind die Prüfer, die regelmäßig kommen und kontrollieren, ob all die Arbeit, die Sie hinsichtlich der Identifikation und des Managements von Risiken geleistet haben, so ist, wie Sie behaupten. Grundsätzlich geht es also darum, Sektoren anzuschauen, in denen bereits fortgeschrittene Sicherheitsmaßnahmen vorhanden sind, und zu prüfen, wie gut sich diese auf diesen Sektor übertragen lassen. 

‍

Es ist entscheidend, dass die Maßnahmen konkret auf das zugeschnitten sind, was Sie tun. Wenn Sie ein Business-to-Business-(B2B)-Backoffice für tabellarische Daten oder einen Dienst zur Anomalieerkennung mittels logistischer Regression betreiben, dann sind fundamentale Menschenrechtsfragen nicht unbedingt das größte Risiko Ihres KI-Einsatzes. 

‍

Sie haben gerade einen sehr interessanten Punkt zur Verantwortlichkeit für das Risiko angesprochen. Damit sind wir direkt bei Fragen der Rechenschaftspflicht. Wo liegt Ihrer Ansicht nach die letztendliche Verantwortlichkeit beim Management von KI-Risiken entlang der gesamten Wertschöpfungskette?

‍

CD: Wir beschäftigen uns am Ada Lovelace Institute sehr intensiv mit dieser Frage. Zusammen mit dem, was Martin gesagt hat, lässt sich das Konzept der mehreren Verteidigungslinien sehr gut auf die KI-Wertschöpfungskette übertragen. Eine der Herausforderungen, die wir mit dem EU-KI-Gesetz hatten, ist der Fokus auf die Bereitstellungsphase, weil dort die Produkt-Sicherheitsbrille angelegt wurde. In unserer Forschung am Institut stellen wir immer wieder fest, dass es viel komplexer ist. Risiko kann an jedem Punkt der Wertschöpfungskette entstehen, daher gibt es keine Pauschalantwort darauf, wo Verantwortlichkeit zuzuordnen ist. 

‍

Klar ist jedoch, dass Verantwortlichkeit entlang der Wertschöpfungskette zugewiesen werden sollte. Beispielsweise haben Entscheidungen in der Design- und Entwicklungsphase oder bei der Auswahl der Daten, mit denen das Modell trainiert wird, definitiv Auswirkungen auf die Ergebnisse – selbst auf Anwendungsebene, wenn das Modell eingesetzt wird. Zu verstehen, wo das Risiko entsteht, ist ein nützliches Konzept, an dem man sich orientieren kann. Die Herkunft des Risikos ist sehr wichtig. Ebenso wichtig ist die Ausbreitung des Risikos, auf die sich Regulierungsbehörden konzentrieren sollten. Risiko kann sich beispielsweise ausweiten, sobald es auf einen Cloud-Hosting-Dienst hochgeladen oder über API-Zugang bereitgestellt wird; genau dann kann etwas Potenziell Schädliches durch breitere Zugänglichkeit verstärkt werden. Das kann potenziell ein nützlicher Interventionspunkt sein, damit Regulierungsbehörden fragen, wo das Risiko entsteht und wie es gemindert werden kann.

‍

Wir können nicht klar sagen, wo die Verantwortlichkeit liegt – sie muss geteilt werden und sehr gezielt dort ansetzen, wo das Risiko entsteht. Es gibt einige interessante Governance-Modelle, aus denen wir lernen können. Ein Beispiel sind die drei Verteidigungslinien. Die Regulierung der Lebenswissenschaften in den USA ist ein Bereich, den wir uns kürzlich angesehen haben – im Grunde also die Frage, wie eine FDA für KI aussehen könnte. In den nächsten Tagen werden wir dazu Forschung veröffentlichen. Das Entscheidende ist der Zugang zu hochwertigen Informationen, um die Informationsasymmetrie zu adressieren, die wir zwischen Entwicklern und Regulierungsbehörden sehen. Die Food and Drug Administration (FDA) hat beispielsweise Zugang zu Informationen, um medizinische Geräte zu regulieren. Über den gesamten Lebenszyklus eines Produkts hinweg besteht eine fortlaufende Beziehung zwischen Entwickler und Regulierer. Es gibt Möglichkeiten für gezielte Prüfung auf Basis spezifischer Standards. Das ist ein guter Weg, um Wertschöpfungsketten zu adressieren, bei denen die Entstehung des Risikos sehr unklar ist, und es ist auch ein guter Weg für Regulierungsbehörden, zu lernen und sich im Laufe der Zeit weiterzuentwickeln, indem sie Kontrollpunkte finden, an denen sie Zugang zu hochwertigen Informationen erhalten können. 

‍

Vor der Markteinführung besteht eine erhebliche Verantwortlichkeit bei Entwicklern und Arbeitgebern. In der Phase nach der Markteinführung braucht es dann einen starken Regulierer, der Risiken über den gesamten Lebenszyklus hinweg überprüfen kann. Das führt wahrscheinlich zu den zweiten und dritten Verteidigungslinien, die durch das unterstützt werden sollten, was wir ein Ökosystem der Inspektion nennen. Gemeint ist damit der Zugang für Prüfer, wie Martin erwähnte, oder der Zugang für geprüfte Red Teamer.

‍

Die zentrale Herausforderung ist eine Frage der Anreize. Das KI-Gesetz wird wahrscheinlich keine Verpflichtungen für unabhängige Audits oder adversarielle Tests mit geprüften Red Teamern festlegen. Die Frage ist also: Welche Anreize haben Anbieter, die sich ohne einen regulatorischen Anknüpfungspunkt möglicherweise nicht freiwillig einer solchen Prüfung öffnen? Genau darüber werden wir uns künftig Gedanken machen.

‍

Wir haben eine Frage aus dem Publikum: Arbeiten Sie an einem Zuordnungsdokument, das das NIST-Risikomanagement-Framework dem EU-KI-Gesetz zuordnet?

‍

CA: Es gab so viele verschiedene Zuordnungsübungen mit dem Risk Management Framework (RMF), mit dem EU-KI-Gesetz und mit verschiedenen anderen Vorschlägen, und ich helfe gern dabei, einige Ressourcen zusammenzustellen und mit Ihnen allen zu teilen, damit Sie sie zur Verfügung haben. 

‍

MK: Selbst wenn ein solches Dokument existierte, wird es in absehbarer Zukunft keinen Zeitpunkt geben, an dem wir vollständige Rechtssicherheit über die Anforderungen haben werden, die für alle in einer bestimmten Jurisdiktion gelten. Es wird immer dynamisch bleiben. Wir werden immer mit einem gewissen Maß an Unsicherheit arbeiten und müssen uns damit anfreunden. Ein Teil der Lösung besteht darin, eigene Standards zu entwickeln, die auf den eigenen Kontext zugeschnitten sind. Gehen Sie zum Ausgangspunkt zurück und überlassen Sie es nicht den politischen Entscheidungsträgern, sondern erarbeiten Sie es in Ihrem eigenen Kontext selbst. Definieren Sie einige eigene Standards und schaffen Sie dafür eine Audit-Trail-Dokumentation. Diese Dokumentation können Sie nutzen, wenn Sie Transparenz und Rechenschaft für jede Phase des Lebenszyklus bereitstellen möchten.

‍

Ich würde jedoch jeden davor warnen, zu glauben, dass man einfach die Standards und Anforderungen verschiedener Jurisdiktionen in ein LLM oder eine Plattform einspeisen kann, die Dokumente vollständig abbildet, und die Organisation müsse dann nur alle Kästchen abhaken und sei damit fertig. Das ist nicht realistisch, denn wir bewegen uns in einem dynamischen Umfeld. 

‍

RD: Dem stimme ich vollkommen zu. Wir veröffentlichen in Kürze einen kostenlosen KI-Policy-Guide, der genau diese Punkte aufgreift, nämlich dass Sie einige dieser Rahmenwerke auf Ihre Organisation zuschneiden und durchgehen müssen, um zu verstehen, was für Sie wichtig ist. Es geht nicht darum, einfach Standardlösungen zu übernehmen. 

‍

Es gibt eine Frage zum geistigen Eigentum und dazu, wie sich geistiges Eigentum in diesem Bereich entwickeln wird. 

‍

Ryan: Auch Anreize sind dabei ein zentraler Aspekt, und diese Anreize sind nicht immer das, was man vielleicht erwartet. Um ein Beispiel dafür zu geben, wie sich dies derzeit entwickelt: Bei vielen dieser großen Basismodelle gibt es erhebliche Bedenken hinsichtlich des geistigen Eigentums, weil ihre Daten aus sämtlichen möglichen Quellen zusammengestellt wurden. Was einige der größeren Anbieter tun – insbesondere jene, die bereits über große Datensätze verfügen –, ist das Ausstellen von IP-Freistellungen. Sie sagen: „Wir stellen Sie von allen möglichen Ansprüchen frei, die jemals jemand erheben könnte, Sie hätten irgendwo auf der Welt gegen geistige Eigentumsrechte verstoßen, weil wir so sicher sind, dass wir alle Daten besitzen, auf denen dieses Modell trainiert wurde, dass wir nicht glauben, dass das jemals passieren wird; deshalb können wir Ihnen diese Freistellung mit gutem Gewissen geben.“ Das schafft bei diesen Produkttypen ein hohes Maß an Vertrauen.

‍

Anstatt auf spezifische Regeln zum geistigen Eigentum und zu diesen großen Modellen zu warten, gehen Unternehmen hier selbst in die Initiative und sagen: Wir nehmen dieses Risiko vollständig aus der Hand des Kunden. Wir machen unsere Werkzeuge vertrauenswürdig. Ich finde das sehr überzeugend, und es zeigt, dass die Anreize manchmal etwas anders sind, als man zunächst erwarten würde. Ebenso kann man auf den Bereich der Cybersicherheit schauen, in dem SaaS-Unternehmen (Software as a Service) viele hohe Standards erfüllen müssen, etwa ISO/IEC 27001 und SOC 2, die von Regulierungsbehörden nicht vorgeschrieben werden. 

‍

Aber es gibt Marktanreize für Organisationen, Standards einzuhalten, denn niemand kauft Ihre Software, wenn Sie nicht die höchstmöglichen Standards für Cybersicherheit einhalten, um die Daten zu schützen. Dieser Marktanreiz wird manchmal übersehen.

‍

Die Executive Order wird enorme Auswirkungen haben, aber es gibt doch auch auf Bundesstaatsebene eine Vielzahl von Initiativen in den USA, nicht wahr? Ich denke zum Beispiel an New York Local Law 144; diese scheinen auf Bundesstaatsebene angesiedelt zu sein und sich auf bestimmte Branchen zu konzentrieren. Wie werden all diese Maßnahmen Ihrer Meinung nach mit dem umfassenderen föderalen Rahmen zusammenspielen?

‍

CA: Das ist ein sehr guter Punkt. Im kommenden Jahr werden wir eine große Menge an Aktivitäten auf Bundesstaatsebene sehen, insbesondere in Ermangelung von Maßnahmen des Kongresses. Im Senat gab es im Rahmen der AI Insight-Foren bereits viel Aufmerksamkeit für Mehrheitsführer Chuck Schumer. Er hat etwa zehn verschiedene Fachrunden mit führenden KI-Expertinnen und -Experten einberufen sowie weitere Gespräche zu Themen wie Transparenz und Nachvollziehbarkeit, nationale Sicherheit, Bias und Bürgerrechte geführt. Aber die politischen Realitäten in Washington sind, wie sie sind. Nächstes Jahr steht eine große Wahl bevor. Eine sehr folgenreiche Wahl. Es ist äußerst unwahrscheinlich, dass wir – selbst wenn wir im Senat große Fortschritte bei einer durch die Insight-Foren und die Umsetzung der Executive Order informierten Gesetzgebung machen – ein umfassendes Gesetz bis zum Abschluss bringen oder viele der KI-Schäden adressieren können, die uns Sorgen bereiten. 

‍

In diesem Vakuum sind bereits viele Bundesstaaten eingesprungen. New York City hat Local Law 144 verabschiedet, das Bias-Audits für jede Art von KI-gestützter Technologie im Recruiting vorsieht, sowohl für die Einstellung als auch für das Beschäftigungsverhältnis. Wenn Ihr Unternehmen irgendeine Form von Arbeitnehmerüberwachung, Interviews oder Check-ins mithilfe von KI-Technologie durchführt, müssen Sie ein Bias-Audit durchführen. Die Umsetzung wird noch ausgearbeitet. Wir werden viele sektorspezifische Gesetze sehen, ebenso wie Gesetze zur Stärkung von KI-Talenten und Effizienz in der Landesverwaltung. Bei den sektorspezifischen Gesetzen haben wir in Colorado ein Versicherungsgesetz, das untersucht, wie Datenquellen genutzt werden und wie Daten durch KI für Versicherungsentscheidungen analysiert werden. Dieses Gesetz ist nun in Kraft, und die Umsetzung läuft bereits. In Connecticut hat der Staatssenator James Maroney eine länderübergreifende KI-Arbeitsgruppe eingebracht, die auf Bundesstaatsebene eine Gruppe unterschiedlicher Abgeordneter zusammenführt, die sich sehr ernsthaft mit diesen Themen befassen, sei es im Zusammenhang mit Bias und Diskriminierung oder mit der Integrität von Wahlen.

‍

Und könnten Sie uns sagen, wie sich die US-Präsidentschaftswahl 2024 auf die Umsetzung von Bidens Executive Order zur KI auswirken könnte? 

‍

CA: Mir ist sehr bewusst, dass sich die Biden-Regierung im Wahljahr darauf konzentriert, so viel wie möglich von dieser Executive Order umzusetzen. Insbesondere vor dem Hintergrund, dass die letzte Executive Order zur KI bei der Umsetzung nicht ganz die Erwartungen erfüllt hat. Es wird sehr interessant sein zu sehen, was im kommenden Jahr geschieht. Trump selbst hat bereits im Wahlkampf erklärt, dass er am ersten Tag Präsident Bidens „woke AI executive order“ aufheben werde, um die Meinungsfreiheit zu schützen. Unabhängig von Ihrer politischen Ausrichtung halte ich diese Punkte und Positionen für sehr vorhersehbar, und meine Schlussfolgerung ist, dass KI-Governance in den USA ein politisches Thema ist und es auch bleiben wird, insbesondere mit Blick auf diese Wahl. Auf Bundesebene gibt es viel zu beobachten. Noch wichtiger ist jedoch, genau hinzuschauen, was auf Bundesstaatsebene passiert, denn es gibt viele aufstrebende gewählte Amtsträger, die sich sehr dafür interessieren, an diesen Themen zu arbeiten.

‍

Nächstes Jahr wird auch in Europa gewählt. Wie wird sich das auf den Zeitplan des EU-KI-Gesetzes auswirken, insbesondere auf sein Inkrafttreten?

‍

CD: Ich hoffe, dass es sich überhaupt nicht auswirken wird. Es besteht eine geringe Chance, dass es sich doch auswirkt. Falls ja, müsste die technische Ausarbeitung des Textes spätestens bis März abgeschlossen sein, damit sie von der Wahl nicht beeinflusst wird. Die Arbeit würde also praktisch ab März beginnen. Derzeit sieht es so aus, als hätten sie mehr als genug Zeit. Ich erwarte keine Probleme. Es könnte zu Verzögerungen kommen, wenn es erheblichen Widerstand gäbe. Frankreich könnte in destruktiver Weise eingreifen, um zu versuchen, das Gesetz zu blockieren. Sollte das geschehen, besteht das Risiko, dass bis März keine Einigung erzielt wird. In der Praxis würde das bedeuten, dass die Arbeit bis 2025 verschoben würde, was gelinde gesagt unübersichtlich wäre, weil dann neue Parlamentarierinnen und Parlamentarier gewählt wären. Es könnten andere Personen im Parlament sitzen, sodass neue Akteure mit anderen Prioritäten das Dossier übernehmen.

Unter der Annahme, dass sie fortfahren, gilt nach Veröffentlichung im Amtsblatt der EU eine zweijährige Frist bis zur Anwendbarkeit. Der Text wird wahrscheinlich Anfang 2024 veröffentlicht, sodass 2026 das Jahr sein wird, in dem die meisten KI-Anwendungen konform sein müssen. Für allgemeine KI-Modelle mit systemischem Risiko ist das Ziel, ein Jahr nach Veröffentlichung anwendbar zu werden.

‍

Damit endet eine sehr aufschlussreiche Diskussion über die verantwortungsvolle Entwicklung und Governance von KI-Systemen. Ich möchte unseren Podiumsteilnehmenden Connor, Martin, Chloe und Ryan aufrichtig danken, dass sie ihr Fachwissen und ihre Perspektiven geteilt haben. Ein herzliches Dankeschön auch an alle Teilnehmenden, die heute dabei waren – ich lade Sie ein, diesen Dialog auf unserer Veranstaltungsseite und in unseren Social-Media-Kanälen fortzusetzen. 

‍

Die vollständige Webinar-Aufzeichnung ist auf YouTube verfügbar.

Enzai ist die führende Plattform für Enterprise-KI-Governance, die speziell dafür entwickelt wurde, Unternehmen beim Übergang von abstrakter Richtlinie zu operativer Aufsicht zu unterstützen. Unsere KI-Risikomanagement-Plattform bietet die spezialisierte Infrastruktur, die erforderlich ist, um agentische KI-Governance zu steuern, ein umfassendes KI-Inventar zu pflegen und die Konformität mit dem EU-KI-Gesetz sicherzustellen. Durch die Automatisierung komplexer Workflows ermöglicht Enzai es Unternehmen, die Einführung von KI mit Zuversicht zu skalieren und gleichzeitig die Ausrichtung an globalen Standards wie ISO 42001 und NIST aufrechtzuerhalten.