Blog
•
24 Min. Lesezeit
Wir freuen uns, die Erkenntnisse aus dem Expertenpanel unseres jüngsten Webinars zu teilen. Auf dem Podium: Connor Dunlop (CD), European Public Policy Lead am Ada Lovelace Institute; Martin Koder (MK), AI Governance Lead bei SWIFT; Chloe Autio (CA), Beraterin für KI-Politik und KI-Governance; und Ryan Donnelly (RD), CEO von Enzai, einer Lösung für KI-Governance.
Die Antworten der Panelteilnehmer wurden gekürzt und zur besseren Verständlichkeit redaktionell bearbeitet.
Nach der jüngsten Verhandlungsrunde zum EU AI Act in der vergangenen Woche: Wo sehen Sie die zentralen Knackpunkte, und welche Entwicklungen erhoffen Sie sich im nächsten Jahr von der EU?
CD: Das ist ein großer Moment für Brüssel und die EU: Es gibt eine politische Einigung zur KI-Verordnung. Damit entstünde weltweit die erste horizontale Regulierung von KI. Das war ein großer Schritt. Hoffentlich wird es nicht viele Knackpunkte geben, einige werden sich aber bei der anstehenden technischen Ausarbeitung zeigen. Bevor ich auf Knackpunkte und die Entwicklungen im nächsten Jahr eingehe, möchte ich kurz erläutern, warum die KI-Verordnung wichtig ist und warum uns die politische Einigung etwas angehen sollte. Wie gesagt wäre sie weltweit die erste horizontale Regulierung von KI. Interessant ist das auch deshalb, weil der Einsatz einiger KI-Systeme tatsächlich verboten wird. Biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen wäre beispielsweise vollständig untersagt, mit einigen Ausnahmen für die Strafverfolgung. In dieser Woche ging es vor allem darum, wie weit diese Ausnahme reichen soll.
Hochrisiko-KI-Systeme könnten nach Einschätzung der Europäischen Kommission 5 bis 15 % aller Systeme ausmachen. Darunter fielen viele Anwendungsfälle im öffentlichen Sektor, etwa in der Justiz oder der Strafverfolgung, sowie in anderen Bereichen mit großer Tragweite wie Bildung und Gesundheitswesen. Die Verordnung wird Regeln für Risikomanagement und Daten-Governance festlegen und sicherstellen, dass die menschliche Aufsicht gewahrt bleibt. Möglicherweise kommt eine neue Kategorie hinzu, auf die man sich erst letzte Woche geeinigt hat. Bekanntlich teilt der Entwurf der Verordnung Systeme in verbotene Systeme, Hochrisikosysteme und Systeme mit geringem Risiko ein, und nun wurde zusätzlich die Kategorie „systemisches Risiko“ eingeführt. Sie gilt für KI-Modelle mit allgemeinem Verwendungszweck. Genau hier könnte ein Knackpunkt liegen, und zwar beim Schwellenwert für die Rechenleistung, ab dem ein KI-System als mit systemischen Risiken behaftet eingestuft wird. Derzeit ist dieser Schwellenwert nach Auffassung unseres Instituts recht hoch. Der vorgeschlagene Schwellenwert von 10^25 FLOPs erfasst nur ein einziges Modell auf dem Markt, GPT-4. Gemini von Google Deepmind könnte ebenfalls darunter fallen, das ist aber noch unklar.
Was 2024 angeht: Im ersten Quartal wird der Schwerpunkt weiterhin auf der technischen Ausformulierung des Rechtstexts liegen. Interessengruppen werden weiterhin versuchen, diesen Prozess zu beeinflussen. Entscheidend werden die Erwägungsgründe der KI-Verordnung und die Klarstellung dessen sein, was der Rechtstext besagt. Diese Arbeit darf Anfang nächsten Jahres nicht unterschätzt werden. Eine potenziell interessante Entwicklung ist die Einigung auf einen Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko. Zunächst wird er die Form unverbindlicher Leitlinien für Anbieter solcher Modelle haben. Das eröffnet der Zivilgesellschaft eine Möglichkeit zur Mitwirkung, und das ist wirklich wichtig. Voraussichtlich ab dem zweiten Quartal nächsten Jahres wird der Verhaltenskodex stark im Fokus stehen. Gut umgesetzt, könnte er das Demokratiedefizit im Normungsprozess verringern. Hervorheben möchte ich zuletzt die Arbeit der EU an einer KI-Haftungsrichtlinie, auch wenn diese durch die Europawahlen im nächsten Jahr unterbrochen wird.
Wir haben über KI-Sicherheit im europäischen Kontext gesprochen. Die USA haben bei der Regulierung lange keine führende Rolle eingenommen, doch das hat sich mit der Executive Order von Präsident Biden zu KI geändert. Wie ist die Stimmung in den USA? Wie wird die Executive Order Ihrer Einschätzung nach im kommenden Jahr umgesetzt?
CA: Kurz zusammengefasst: Die EO wurde am 30. Oktober veröffentlicht, unmittelbar vor dem KI-Gipfel in Großbritannien. Mit 111 Seiten ist sie die bislang längste und umfassendste EO der Biden-Regierung und überhaupt die umfangreichste zu Technologie- oder Digitalpolitik. Das zeigt, wie zielgerichtet die Regierung vorgeht und wie proaktiv sie dieses Thema angehen will.
Die EO bindet 50 verschiedene Stellen ein. Das Handelsministerium übernimmt einen Großteil der Umsetzung, insbesondere über das NIST, das National Institute for Standards and Technology. Vielleicht kennen Sie es von seiner Arbeit am AI Risk Management Framework, einem der führenden freiwilligen Rahmenwerke für KI-Governance. Zudem enthält die EO über 150 neue Anordnungen, also Maßnahmen, Berichte, Leitlinien und Regeln oder Richtlinien jeglicher Art, darunter eigene Berichte der Behörden, die innerhalb der nächsten 30 bis 365 Tage umzusetzen sind. Unterm Strich gibt es hier viel zu tun. Und die Resonanz war ausgesprochen positiv.
In meinen Gesprächen auf dem Capitol Hill, aber auch mit der Regierung und der Industrie, spüre ich große Begeisterung für den Fahrplan, den die Executive Order vorgibt, und viel Neugier darauf, wie sie umgesetzt wird.
Das unterscheidet sie von früheren Executive Orders, insbesondere von der Executive Order der Trump-Regierung zu vertrauenswürdiger KI. Viele Anordnungen darin wurden nie ganz zu Ende gebracht. Dazu gehörten etwa die Katalogisierung von KI-Anwendungsfällen, die Entwicklung verschiedener Leitlinien zum Risikomanagement für unterschiedliche Behörden und ein Memo des Office of Management and Budget mit Leitlinien für die verantwortungsvolle Einführung und Umsetzung von KI. Nichts davon wurde abgeschlossen. Ich denke daher, dass wir bei dieser Executive Order, schon aufgrund ihres Tons und ihrer Ausrichtung, einen deutlich stärkeren Fokus auf die Umsetzung sehen werden, mit einem regierungsweiten Ansatz, um sie zu verwirklichen.
Wichtig ist: Schon vor der EO hat die US-Regierung viel im Bereich KI-Governance getan. Zwar hat der Kongress kein umfassendes Sammelgesetz und kein horizontales KI-Gesetz zur KI-Governance verabschiedet, wie wir es in der EU gesehen haben. Doch viele Behörden innerhalb der Regierung und ressortübergreifend (die EEOC, die Equal Employment Opportunity Commission; das NIST selbst mit dem AI Risk Management Framework; das CFPB, das Consumer Financial Protection Bureau) haben verschiedene Leitlinien veröffentlicht, um bekannten Schäden durch KI zu begegnen. Die Executive Order baut auf der hervorragenden Arbeit dieser Behörden auf. Diese Arbeit hat die Ausrichtung der Executive Order mitgeprägt.
Die EO deckt ein breites Spektrum an Themen ab. Sie konzentriert sich auf die nationale Sicherheit im Hinblick auf den Zugang zu Modellen und den Schutz vor künftigen Risiken. Großes Gewicht haben auch Datenschutz, Verbraucherschutz und geistiges Eigentum.
In diesem Zusammenhang müssen Behörden unter anderem verschiedene Datenquellen katalogisieren, auch solche von Datenhändlern, um die Auswirkungen auf den Datenschutz wirklich zu verstehen, also woher die Daten für diese Modelle stammen. Viele Vertreterinnen und Vertreter der Zivilgesellschaft und von Interessenverbänden, und auch ich persönlich, sind sehr gespannt, wohin das führt. Das US Patent and Trademark Office wird hierzu neue Leitlinien zu Regeln für geistiges Eigentum und zur Erfinderschaft bei KI herausgeben. Auch das wird sehr interessant.
Die Executive Order legt zudem großen Wert auf Chancengerechtigkeit und Nichtdiskriminierung. Sie beauftragt führende Regulierungsbehörden der US-Regierung, das DOJ, die EEOC und weitere Stellen im DHS, gemeinsam festzulegen, wie sie investieren und gegebenenfalls neue Leitlinien für das Vorgehen gegen Schäden durch KI erarbeiten. Ein koordiniertes Vorgehen in diesem Sinne hat es bisher kaum gegeben. Die EO hat es nun formalisiert. Es geht um Themen wie Nichtdiskriminierung auf dem Wohnungsmarkt und beim Zugang zu Krediten, also Bereiche, in denen Schäden durch KI seit Langem gut dokumentiert sind. Es wird sehr spannend zu sehen, welche Durchsetzungsstrategie die Regierung für diese Themen entwickelt.
Die EO befasst sich außerdem mit Arbeit und Arbeitnehmerrechten. Sie fordert Behörden auf, Leitlinien dazu bereitzustellen, wie sie selbst oder Auftragnehmer des Bundes KI-Systeme in Einstellungsverfahren einsetzen. Vom britischen AI Safety Institute haben wir alle gehört. Auch das NIST hat ein AI Safety Institute eingerichtet. Es wird die Sicherheit und Robustheit von Basismodellen und anderen KI-Modellen eingehend prüfen, Red-Teaming-Prozesse entwickeln und auf bestehenden Risikomanagementprozessen aufbauen, um die Sicherheit dieser Modelle wirklich zu verbessern.
Und schließlich legt die Executive Order einen sehr starken Schwerpunkt darauf, KI-Talente in der US-Regierung zu fördern. Die Statistik ist ernüchternd, aber real: Nur 1 % der Promovierten in Informatik und KI in den USA gehen in den Bundesdienst. Sehr viele hochqualifizierte KI-Fachkräfte wechseln in die Privatwirtschaft, in die Wissenschaft oder zu großen Forschungslaboren. Nur ein kleiner Teil arbeitet am Ende im öffentlichen Sektor, trägt zu dessen Zielen und Bedürfnissen bei und verbessert öffentliche Dienstleistungen. Die Executive Order schafft einige neue Regeln und Änderungen, darunter kleine Anpassungen der Einwanderungspolitik, damit im Ausland geborene, in den USA ausgebildete KI-Fachleute im Land bleiben und zum US-Ökosystem beitragen können. Das ist ein grober Überblick über die zentralen Themen, die sich durch diese Executive Order ziehen.
Was geschieht in Großbritannien? Sie waren eng in die Gespräche eingebunden, sowohl mit führenden Köpfen der KI-Branche als auch mit der Regierung in der Downing Street. Gab es seit dem AI Safety Summit Fortschritte?
RD: Kurz zusammengefasst: Die britische Regierung hat mit einem innovationsfreundlichen Ansatz zur Regulierung künstlicher Intelligenz begonnen. Ziel war es, Großbritannien als weltweit führend im Bereich künstliche Intelligenz zu positionieren. Der Ansatz greift viele der genannten Punkte auf: Talente fördern, Organisationen nicht überlasten und eine Infrastruktur schaffen, die Innovation rund um diese beeindruckenden Technologien wirklich vorantreibt. Das erste Weißbuch dazu wurde vor einigen Jahren veröffentlicht. Wir als Unternehmen haben uns direkt in diese Vorschläge eingebracht. Anfangs handelte es sich um Leitlinien. Mit der Zeit kam jedoch die Rückmeldung, dem innovationsfreundlichen Ansatz zur Regulierung künstlicher Intelligenz fehle es an Durchschlagskraft. Die Regierung nahm diese Kritik auf und stand vor einer Entscheidung: KI regulieren oder nicht?
Der zweite Entwurf des innovationsfreundlichen Ansatzes war ziemlich kreativ. Ich sprach von zwei Optionen. Vielleicht gab es noch eine dritte: Der Plan für die KI-Regulierung in Großbritannien sieht vor, die Last der Regulierung auf die bestehenden Sektoraufsichtsbehörden zu verlagern und ihnen zu sagen: „Sie sind die Finanzaufsicht oder die Wettbewerbsbehörde und regulieren bereits Ihren Bereich. Prüfen Sie auch, wie KI innerhalb Ihrer bestehenden Zuständigkeit eingesetzt wird.“ Dazu gehört sicherzustellen, dass KI-Systeme sektorübergreifende Grundsätze einhalten. Dieser Ansatz nimmt die Industrie in die Pflicht.
Es war auch die Rede davon, noch weiter zu gehen und ein KI-Gesetz einzuführen, und ich denke, die Regierung hat das durchaus eingehend geprüft. Vor dem Safety Summit war das eine offene Frage. Im Nachgang des Gipfels fiel dann die Entscheidung, in Großbritannien keine zusätzliche Regulierung einzuführen. Es gab zwar einen weiteren Gesetzentwurf zu selbstfahrenden Autos und anderen Fahrzeugen, aber nichts, was mit dem EU AI Act vergleichbar wäre, den manche zu diesem Zeitpunkt wohl im Blick hatten. Im neuen Jahr erscheint ein neuer Entwurf dieses innovationsfreundlichen Ansatzes, und ich stehe dazu in engem Austausch mit einigen Personen im DSIT. Es ist sehr unwahrscheinlich, dass in Großbritannien ein horizontales Gesetz wie in Europa kommt.
Der Ansatz unterscheidet sich in vielerlei Hinsicht. Einer der größten Kritikpunkte am innovationsfreundlichen Ansatz und an der Verlagerung der Last auf die Sektoraufsichtsbehörden ist das Fehlen einer koordinierenden Funktion. Ohne eine zentrale Stelle, die im Hintergrund alles zusammenführt, legt eine Aufsichtsbehörde womöglich einen Aspekt der Wertschöpfungskette auf eine bestimmte Weise aus, während eine andere dieselbe Frage gegenteilig auslegt. Im Markt herrscht große Unsicherheit, und an diesem Kritikpunkt arbeitet die Regierung in der neuesten Fassung des Weißbuchs. Beim EU AI Act ist die Kritik fast umgekehrt: Manche halten ihn für zu horizontal und meinen, man müsse einzelne Sektoren und ihre Besonderheiten stärker berücksichtigen.
Wir haben jetzt über unterschiedliche Regulierungsansätze in den USA, der EU und Großbritannien gesprochen, und wir wissen, dass es ähnliche Bestrebungen in Brasilien, China und vielen anderen Ländern gibt. Warum wäre internationale Kohärenz so wertvoll, und welche Vorteile sehen Sie in globalen Standards?
MK: Gerne erzähle ich, wie wir bei SWIFT mit einigen dieser Fragen umgehen. Zur Einordnung: SWIFT steht für Society for Worldwide Interbank Financial Telecommunications. Wir sind eine neutrale, gemeinnützige Organisation und betreiben die Infrastruktur für den internationalen Zahlungsnachrichtenverkehr. Governance hat bei uns einen sehr hohen Stellenwert. Gegenüber unseren Kunden, also großen Finanzinstituten, verweisen wir auf die äußerst umfassenden und ausgereiften Kapazitäten im Risikomanagement, über die etablierte Finanzdienstleister bereits verfügen. Im Modell der drei Verteidigungslinien gibt es Lieferantenmanagement, Produkt-Governance, Daten-Governance, Sicherheitskontrollen, Datenschutzbewertungen und mehr. Wir haben unzählige Gremien und Prozesse und ganze Heerscharen von Menschen, die sich damit befassen. Damit erfüllen wir bereits zu 70 % das, was sich die Politik erhofft.
In manchen Bereichen gibt es vielleicht ein oder zwei Lücken. Oft geht es aber darum, das Vokabular der KI-Governance-Regulierung zu übernehmen, etwa Erklärbarkeit, was juristisch die Frage nach dem Haftungsrisiko meint. Und Grundsätze wie Fairness gibt es bereits, etwa in Form der Nichtdiskriminierung.
Es kann also darum gehen, aus den vielen bereits vorhandenen Prozessen (Risikobewertung, Risikoidentifizierung, Überwachung der Auswirkungen und so weiter) die Managementinformationen zu bestimmten definierten Kennzahlen herauszuziehen, die Aufsichtsbehörden für verantwortungsvolle KI und KI-Risikomanagement sehen wollen. Diese Kennzahlen umfassen verschiedene Dimensionen: Fairness, Prüfbarkeit, Rechenschaftspflicht, Genauigkeit. Diese Informationen werden dann standardisiert aufbereitet, sodass auch Entscheidungsträger in der Organisation (Geschäftsleitung, Vorstand, Chief Risk Officer, General Counsel und so weiter), die nicht unbedingt viel Daten- oder KI-Expertise mitbringen, sie verstehen. Das sollte wiederholbar sein und der Führung eine verlässliche Grundlage für Entscheidungen geben. Zugleich sollten daraus Nachweise entstehen, die jedem zur Verfügung gestellt werden können, der sie benötigt, ob Aufsichtsbehörde, Kunden oder andere Stakeholder.
Allen Kunden würde ich sagen: Keine Panik. Gerade wenn Sie eine etablierte Institution sind, verfügen Sie bereits über umfangreiche Kapazitäten im Risikomanagement, um KI-Governance zu bewältigen.
Zu globalen Standards: Die Unternehmenskultur, die Fähigkeit, allgemeine Risikomanagementprozesse durchzuführen, und die vorhandene Infrastruktur verschaffen Ihnen die Nachweise, die sich erbringen lassen. Legen Sie eigene Standards für Ihren eigenen Kontext fest. Diese können Sie dann mit verschiedenen Strategien an die Anforderungen lokaler Rechtsordnungen anpassen: durch Partnerschaften mit Menschen in verschiedenen Teilen der Welt, etwa in Ihrem Kundenstamm, unter Ihren Lieferanten, mit Wissenschaftlern oder mit Aufsichtsbehörden. Sie können in den Gremien von Arbeitsgruppen mitwirken, die sich mit neuen Bereichen wie datenschutzfördernden Technologien befassen. So verstehen Sie, welchen Standards diese folgen, lernen den lokalen Kontext bestimmter Bereiche kennen und können Ihre Nachweise passend zu den lokalen Vorschriften aufbereiten.
Connor sprach von Kategorien und Schwellenwerten. So funktioniert Regulierung nun einmal. Aufsichtsbehörden bilden immer Kategorien. Dann beklagen sich die Leute, dass etwas in der falschen Kategorie gelandet ist oder der Schwellenwert falsch angesetzt ist, aber das ändert sich im Laufe der Zeit. Ich finde, die Aufsichtsbehörden haben weltweit ziemlich gute Arbeit geleistet, wenn man bedenkt, dass die meisten politischen Fachreferenten wenig Expertise im maschinellen Lernen haben. Das NIST ist eine zentrale Organisation, die man verfolgen sollte. Es gibt so viel Lärm darum, was Best Practice in der KI-Governance ist und wie man mit all den neuen regulatorischen Standards umgehen soll. Das Verhältnis von Signal zu Rauschen hat sich im vergangenen Jahr sogar deutlich verschlechtert. Es ist viel schwieriger geworden zu erkennen, welchen Organisationen man tatsächlich vertrauen sollte. Am besten nutzen Sie, was Sie bereits haben, zum Beispiel die drei Verteidigungslinien.
Zu Ryans Punkten über Großbritannien: Ich finde, Großbritannien hat in drei Punkten recht klug gehandelt. Erstens wurde das AI Safety Institute gegründet. Großbritannien wird alle hochmodernen Basismodelle von US-Unternehmen einsehen können, weil sie von US-amerikanischen und britischen Behörden geprüft werden. Zweitens ist Großbritannien weiterhin Mitglied der Normungsorganisation, die befugt ist, die Normen für die EU-Verordnung festzulegen. In gewisser Weise sitzt Großbritannien in der Normungsphase des EU AI Act also weiterhin mit am Tisch. Drittens werden die Anforderungen des EU AI Act, nach denen Unternehmen ein Risikomanagementsystem nachweisen müssen, eine Goldgrube für Beratungsunternehmen sein, von denen viele in London ansässig sind. Einige von ihnen dürften mit der Verordnung also gute Geschäfte machen.
Sie erwähnen die drei Verteidigungslinien. Das Konzept ist in der Finanzdienstleistungs- und Versicherungsbranche sehr vertraut, in anderen Branchen weniger. Wie gut lassen sich die drei Verteidigungslinien auf das Management von KI-Risiken übertragen, und sollten sich auch andere Organisationen damit befassen?
MK: Das hängt vom Sektor ab. Generell lautete die Botschaft des AI Safety Summit: Im Laufe der Geschichte galten bestimmte Sektoren als eher unsicher, und ihre Nutzung machte Menschen nervös. Heute ist das nicht mehr so. Durch Sicherheitsstandards haben wir diese Risiken beherrschbar gemacht und das Vertrauen der Gesellschaft gewonnen. Nehmen wir die Luftfahrt oder den Verkehr allgemein: Niemand macht sich Sorgen, wenn er in ein Flugzeug steigt, denn jeder weiß, dass es strenge Sicherheitskontrollen und Vorschriften gibt. Oder nehmen wir die Pharmaindustrie und das stufenweise Vorgehen bei klinischen Studien: Manche schlagen vor, diesen Ansatz auch für Basismodelle zu verfolgen. Zum Auftrag der Safety Institutes gehört es, zu prüfen, wie sich Standards aus diesen stark regulierten Sektoren auf die Welt der KI übertragen lassen.
Das Modell der drei Verteidigungslinien ist recht spezifisch für den Finanzdienstleistungssektor. Im Kern ist es aber auch für andere Branchen sinnvoll. Die erste Linie bilden die Geschäftsbereiche, also die Product Owner. Sie tragen das Risiko und sind dafür verantwortlich, Risiken und Kontrollen zu identifizieren, Maßnahmen zur Risikominderung umzusetzen und die Ergebnisse zu überwachen. Die Verantwortlichkeit liegt bei den Geschäftsbereichen. Die zweite Linie bilden alle unterstützenden Funktionen: Risikomanager, Juristen, das Team für Daten-Governance, das Team für Cybersicherheit und so weiter. Sie bringen Fachwissen ein, etwa in interdisziplinären Workshops, um gemeinsam mit den Geschäftsbereichen alle Probleme zu identifizieren. Sie helfen den Geschäftsbereichen, alle Risiken zusammenzutragen, zu erfassen und quantitativ anhand des für ein bestimmtes Projekt definierten Risikoappetits zu bewerten. Die zweite Linie unterstützt Sie zudem bei der Überwachung. Die dritte Linie sind die Auditoren, die regelmäßig prüfen, ob Ihre Arbeit zur Identifizierung und Steuerung von Risiken tatsächlich so erfolgt ist, wie Sie es angeben. Grundsätzlich geht es darum, Sektoren zu betrachten, die bereits fortgeschrittene Sicherheitsmaßnahmen etabliert haben, und zu prüfen, was sich davon auf diesen Sektor übertragen lässt.
Entscheidend ist, dass die Maßnahmen genau auf Ihre Tätigkeit zugeschnitten sind. Wenn Sie einen B2B-Dienst (Business to Business) betreiben, der im Backoffice mit logistischer Regression Anomalien in tabellarischen Daten erkennt, sind grundlegende Menschenrechtsfragen nicht unbedingt das größte Risiko Ihres KI-Einsatzes.
Damit haben wir einen sehr interessanten Punkt berührt: wer das Risiko trägt. Das führt uns direkt zur Frage der Verantwortlichkeit. Wo liegt Ihrer Ansicht nach entlang der gesamten Wertschöpfungskette die letztliche Verantwortlichkeit für das Management von KI-Risiken?
CD: Mit dieser Frage beschäftigen wir uns am Ada Lovelace Institute intensiv. Wie Martin sagte, lässt sich das Konzept mehrerer Verteidigungslinien sehr gut auf die KI-Wertschöpfungskette übertragen. Eine der Schwierigkeiten beim EU AI Act ist der Fokus auf die Einsatzphase, weil man die Perspektive der Produktsicherheit gewählt hat. In unserer Forschung am Institut stellen wir immer wieder fest, dass es viel komplexer ist. Risiken können an jeder Stelle der Wertschöpfungskette entstehen, daher gibt es keine Pauschalantwort darauf, wem die Verantwortlichkeit zuzuweisen ist.
Klar ist, dass die Verantwortlichkeit entlang der Wertschöpfungskette verteilt werden sollte. So wirken sich Entscheidungen in der Design- und Entwicklungsphase oder darüber, mit welchen Daten das Modell trainiert wird, mit Sicherheit auf die Ergebnisse aus, selbst auf der Anwendungsebene im späteren Einsatz. Ein hilfreicher Ansatzpunkt ist die Frage, wo das Risiko entsteht. Der Ursprung des Risikos ist sehr wichtig. Ebenso wichtig ist für Aufsichtsbehörden die Verbreitung des Risikos. Ein Risiko kann sich etwa verbreiten, sobald ein Modell zu einem Cloud-Hosting-Dienst hochgeladen und per API bereitgestellt wird. Gerade dann kann etwas potenziell Schädliches durch die breitere Zugänglichkeit verstärkt werden. Das kann für Aufsichtsbehörden ein sinnvoller Ansatzpunkt für Eingriffe sein, um zu fragen, wo das Risiko entsteht und wie es sich mindern lässt.
Wir können nicht eindeutig sagen, wo die Verantwortlichkeit liegt. Sie muss geteilt und sehr gezielt daran ausgerichtet werden, wo das Risiko entsteht. Es gibt einige interessante Governance-Modelle in anderen Sektoren, von denen wir lernen können, zum Beispiel die drei Verteidigungslinien. Mit der Regulierung der Life Sciences in den USA haben wir uns zuletzt näher befasst, im Grunde mit der Frage, wie eine FDA für KI aussehen könnte. Unsere Forschungsergebnisse dazu veröffentlichen wir in den nächsten Tagen. Entscheidend ist der Zugang zu hochwertigen Informationen, um die Informationsasymmetrie zwischen Entwicklern und Aufsichtsbehörden abzubauen. Die Food and Drug Administration (FDA) hat beispielsweise Zugang zu Informationen, um Medizinprodukte zu regulieren. Zwischen Entwickler und Aufsichtsbehörde besteht über den gesamten Produktlebenszyklus eine fortlaufende Beziehung. Es gibt Möglichkeiten für eine gezielte Prüfung anhand bestimmter Standards. Das ist ein guter Weg für Wertschöpfungsketten, in denen sehr unklar ist, wo Risiken entstehen. Zugleich kann eine Aufsichtsbehörde so mit der Zeit dazulernen und ihre Kapazitäten ausbauen, indem sie Kontrollpunkte findet, an denen sie Zugang zu hochwertigen Informationen erhält.
Vor dem Inverkehrbringen tragen Entwickler und Betreiber eine erhebliche Verantwortung. Nach dem Inverkehrbringen braucht es dann eine starke Aufsichtsbehörde, die Risiken über den gesamten Lebenszyklus hinweg prüfen kann. Das betrifft wohl die zweite und dritte Verteidigungslinie, die durch ein sogenanntes Ökosystem der Prüfung unterstützt werden sollten. Gemeint ist der Zugang für Auditoren, wie Martin sagte, oder für überprüfte Red-Teaming-Fachleute.
Die größte Herausforderung ist eine Frage der Anreize. Die KI-Verordnung wird wahrscheinlich keine Pflicht zu unabhängigen Audits oder adversarialen Tests durch überprüfte Red-Teaming-Fachleute vorsehen. Die Frage ist also, welche Anreize es für Anbieter gibt, die sich einer solchen Prüfung ohne regulatorischen Hebel nicht unbedingt öffnen würden. Damit werden wir uns künftig beschäftigen.
Eine Frage aus dem Publikum: Arbeiten Sie an einem Mapping-Dokument, das das NIST Risk Management Framework dem EU AI Act gegenüberstellt?
CA: Es gibt bereits sehr viele Mappings zwischen dem Risk Management Framework (RMF), dem EU AI Act und verschiedenen anderen Vorschlägen. Ich stelle gerne einige Ressourcen zusammen und teile sie mit Ihnen allen.
MK: Selbst wenn es ein solches Dokument gäbe, wird es nie einen Zeitpunkt geben, an dem wir vollständige Rechtssicherheit über die Anforderungen in einer bestimmten Rechtsordnung haben. Das wird immer dynamisch bleiben. Wir werden immer mit einem gewissen Maß an Unsicherheit arbeiten und müssen lernen, damit umzugehen. Ein Teil der Lösung besteht darin, eigene Standards zu entwickeln, die auf den eigenen Kontext zugeschnitten sind. Gehen Sie zurück zum Anfang und erarbeiten Sie das selbst für Ihren Kontext, statt es der Politik zu überlassen. Definieren Sie eigene Standards und erstellen Sie einen Prüfpfad dazu. Diesen Prüfpfad können Sie nutzen, wenn Sie für jede Phase des Lebenszyklus Transparenz und Rechenschaft herstellen wollen.
Ich würde aber alle vor der Vorstellung warnen, man müsse nur die Standards und Anforderungen der verschiedenen Rechtsordnungen in ein LLM oder eine Plattform werfen, die Dokumente vollständig abgleicht, dann alle Kästchen abhaken, und schon sei alles erledigt. Das ist nicht realistisch, denn das Umfeld wird dynamisch bleiben.
RD: Dem stimme ich voll und ganz zu. Wir veröffentlichen in Kürze einen kostenlosen Leitfaden für KI-Richtlinien, der genau diese Punkte behandelt: Sie müssen einige dieser Rahmenwerke auf Ihre Organisation zuschneiden und genau herausarbeiten, worauf es Ihnen ankommt. Mit Lösungen von der Stange ist es nicht getan.
Es gibt eine Frage zum geistigen Eigentum und dazu, wie sich das Thema geistiges Eigentum in diesem Bereich entwickeln wird.
Ryan: Auch Anreize spielen hier eine zentrale Rolle, und sie sind nicht immer so, wie man denkt. Ein Beispiel dafür, wie sich das derzeit entwickelt: Bei vielen großen Basismodellen gibt es erhebliche Bedenken hinsichtlich des geistigen Eigentums, weil ihre Daten von buchstäblich überall stammen. Einige der größeren Anbieter, die bereits über große Datensätze verfügen, bieten deshalb Freistellungen im Bereich geistiges Eigentum an. Sie sagen: „Wir stellen Sie von jeglichen Ansprüchen frei, die irgendjemand jemals gegen Sie erheben könnte, weil Sie irgendwo auf der Welt Gesetze zum geistigen Eigentum verletzt hätten. Wir sind so sicher, dass uns alle Daten gehören, mit denen dieses Modell trainiert wurde, dass wir nicht glauben, dass das je passieren wird. Deshalb können wir Ihnen diese Freistellung guten Gewissens geben.“ Das schafft viel Vertrauen in diese Art von Produkten.
Statt auf spezifische Regeln zum geistigen Eigentum bei diesen großen Modellen zu warten, ergreifen Organisationen selbst die Initiative und sagen: Wir nehmen dem Kunden dieses Risiko vollständig ab. Wir machen unsere Tools vertrauenswürdig. Ich finde das sehr überzeugend, und es zeigt, dass die Anreize manchmal etwas anders liegen, als man zunächst erwarten würde. Ähnlich ist es im Bereich Cybersicherheit: SaaS-Unternehmen (Software as a Service) müssen viele hohe Standards wie ISO/IEC 27001 und SOC 2 erfüllen, die von Aufsichtsbehörden gar nicht vorgeschrieben sind.
Für Organisationen gibt es aber Marktanreize, Standards einzuhalten, denn niemand kauft Ihre Software, wenn Sie nicht die höchstmöglichen Cybersicherheitsstandards zum Schutz der Kundendaten erfüllen. Dieser Marktanreiz wird manchmal übersehen.
Die Executive Order wird enorme Auswirkungen haben, aber in den USA gibt es auch viele Initiativen auf Ebene der Bundesstaaten, nicht wahr? Ich denke etwa an das Local Law 144 in New York. Diese Initiativen scheinen auf Ebene der Bundesstaaten angesiedelt und auf bestimmte Branchen ausgerichtet zu sein. Wie werden all diese Schritte Ihrer Meinung nach mit dem übergeordneten Rahmen auf Bundesebene zusammenwirken?
CA: Das ist ein sehr guter Punkt. Wir werden im nächsten Jahr sehr viele Aktivitäten auf Ebene der Bundesstaaten sehen, zumal der Kongress nicht handelt. Viel Aufmerksamkeit galt den AI Insight Forums des Mehrheitsführers im Senat, Chuck Schumer. Er hat rund zehn Gesprächsrunden mit führenden KI-Fachleuten einberufen, dazu weitere Diskussionen zu Einzelthemen wie Transparenz und Erklärbarkeit, nationale Sicherheit, Verzerrung und Bürgerrechte. Aber die politischen Realitäten in Washington sind, wie sie sind. Im nächsten Jahr steht eine große Wahl an, eine sehr folgenreiche Wahl. Selbst wenn wir im Senat bei der Gesetzgebung, gestützt auf die Insight Forums und die Umsetzung der Executive Order, große Fortschritte machen, ist es sehr unwahrscheinlich, dass ein umfassendes Gesetz verabschiedet wird oder dass wir viele der KI-Schäden angehen können, die uns Sorgen bereiten.
In diese Lücke stoßen bereits viele Bundesstaaten. New York City hat das Local Law 144 verabschiedet, das Audits auf algorithmische Verzerrung für jeden Einsatz von KI-Technologie im Recruiting vorschreibt, sowohl bei Einstellungen als auch im laufenden Beschäftigungsverhältnis. Wenn Ihr Unternehmen KI-gestützte Mitarbeiterüberwachung, Vorstellungsgespräche oder Check-ins durchführt, müssen Sie ein solches Audit durchführen. Die Umsetzung wird noch geklärt. Wir werden viele branchenspezifische Gesetzentwürfe sehen, ebenso Gesetzentwürfe zur Förderung von KI-Talenten und Effizienz in den Verwaltungen der Bundesstaaten. Bei den branchenspezifischen Gesetzen gibt es in Colorado ein Versicherungsgesetz, das regelt, wie Datenquellen genutzt und Daten mithilfe von KI für Versicherungsentscheidungen analysiert werden. Dieses Gesetz ist bereits in Kraft, und die Umsetzung läuft gerade. In Connecticut hat Senator James Maroney eine bundesstaatenübergreifende KI-Arbeitsgruppe ins Leben gerufen. Sie bringt Gesetzgeber verschiedener Bundesstaaten zusammen, die sich ernsthaft mit diesen Themen befassen, sei es im Zusammenhang mit Verzerrung und Diskriminierung oder mit der Integrität von Wahlen.
Und wie könnte sich die Präsidentschaftswahl 2024 auf die Umsetzung von Bidens Executive Order zu KI auswirken?
CA: Ich weiß, dass die Biden-Regierung fest entschlossen ist, vor dem Wahljahr so viel wie möglich von dieser Executive Order umzusetzen. Das gilt umso mehr, als die letzte Executive Order zu KI bei der Umsetzung ihr Ziel verfehlt hat. Es wird sehr spannend, was im nächsten Jahr passiert. Trump selbst hat im Wahlkampf bereits angekündigt, er werde gleich am ersten Tag Präsident Bidens „Woke AI executive order“ aufheben, um die Meinungsfreiheit zu schützen. Unabhängig von der politischen Einstellung sind das, denke ich, sehr vorhersehbare Argumente und Positionen. Mein Fazit: KI-Governance ist in den USA ein politisches Thema und wird es bleiben, gerade im Vorfeld dieser Wahl. Auf Bundesebene gibt es viel zu beobachten. Noch wichtiger ist es aber, die Entwicklungen auf Ebene der Bundesstaaten im Blick zu behalten, denn dort gibt es viele aufstrebende gewählte Amtsträger, die sich ernsthaft mit diesen Themen befassen wollen.
Auch in Europa wird im nächsten Jahr gewählt. Wie wird sich das auf den Zeitplan des EU AI Act auswirken, insbesondere auf sein Inkrafttreten?
CD: Ich hoffe, gar nicht. Es besteht eine geringe Wahrscheinlichkeit, dass die Wahl ihn beeinflusst. Um das zu vermeiden, muss die technische Ausarbeitung des Texts spätestens im März abgeschlossen sein, damit die Wahl keine Rolle spielt. Die Arbeit beginnt also im Grunde ab März. Derzeit sieht es so aus, als bliebe mehr als genug Zeit. Ich rechne nicht mit Problemen. Die könnte es geben, wenn es erheblichen Widerstand gäbe. Frankreich könnte auf destruktive Weise eingreifen und versuchen, die Verordnung zu blockieren. Dann bestünde die Gefahr, dass bis März keine Einigung zustande kommt. In der Praxis würde sich die Arbeit dann bis 2025 verschieben, was gelinde gesagt chaotisch wäre, weil dann neue Abgeordnete gewählt wären. Im Parlament säßen womöglich nicht mehr dieselben Personen, und neue Leute mit anderen Prioritäten würden das Dossier übernehmen.
Vorausgesetzt, es geht wie geplant weiter, gilt die Verordnung zwei Jahre nach ihrer Veröffentlichung im Amtsblatt der EU. Der Text wird voraussichtlich Anfang 2024 veröffentlicht, sodass 2026 das Jahr sein wird, in dem die meisten KI-Anwendungen konform sein müssen. Für KI-Modelle mit allgemeinem Verwendungszweck mit systemischem Risiko sollen die Regeln bereits ein Jahr nach der Veröffentlichung gelten.
Damit endet eine sehr aufschlussreiche Diskussion über die verantwortungsvolle Entwicklung und Governance von KI-Systemen. Ich danke unseren Panelteilnehmern Connor, Martin, Chloe und Ryan herzlich dafür, dass sie ihre Expertise und ihre Perspektiven mit uns geteilt haben. Ein großes Dankeschön auch an alle Teilnehmenden. Ich lade Sie ein, den Dialog auf unserer Veranstaltungsseite und in unseren Social-Media-Kanälen fortzusetzen.
Die vollständige Aufzeichnung des Webinars ist auf YouTube verfügbar.
Enzai ist die führende Plattform für KI-Governance in Unternehmen, eigens dafür entwickelt, Organisationen den Schritt von abstrakten Richtlinien zu operativer Aufsicht zu ermöglichen. Unsere Plattform für KI-Risikomanagement stellt die spezialisierte Infrastruktur bereit, um Governance für agentische KI umzusetzen, ein umfassendes KI-Inventar zu pflegen und die Konformität mit dem EU AI Act sicherzustellen. Durch die Automatisierung komplexer Workflows ermöglicht Enzai Unternehmen, den Einsatz von KI mit Zuversicht zu skalieren und dabei im Einklang mit globalen Standards wie ISO 42001 und NIST zu bleiben.
Seit 2023 nach ISO 27001 zertifiziert, jährlich von NQA auditiert
An der DSGVO ausgerichtete Datenverarbeitung
Kundendaten auf AWS in mehreren Regionen gehostet
Eigenes KI-Modell über eine private Verbindung nutzen
Finden Sie die KI, die Ihre Teams nutzen, prüfen Sie sie vor der Einführung, bewerten Sie sie anhand der geltenden Vorschriften und kontrollieren Sie, was Agenten tun dürfen. Entwickelt für regulierte Organisationen.



