Entdecken Sie das vollständige Sortiment an KI-Governance-Produkten von Enzai, das darauf ausgelegt ist, Organisationen dabei zu helfen, KI mit Vertrauen zu verwalten, zu überwachen und zu skalieren. Von strukturierten Aufnahmen und zentralisierten KI-Inventaren bis hin zu automatisierten Bewertungen und Echtzeitüberwachung bietet Enzai die Bausteine, um Governance direkt in alltägliche KI-Workflows einzubetten — ohne die Innovation zu verlangsamen.

Enzai

Vorschriften für KI

Risiken durch KI-Anbieter von Drittanbietern: Wie Sie KI bewerten, die Sie nicht selbst entwickelt haben

Vorschriften für KI

Risiken durch KI-Anbieter von Drittanbietern: Wie Sie KI bewerten, die Sie nicht selbst entwickelt haben

Vorschriften für KI

Risiken durch KI-Anbieter von Drittanbietern: Wie Sie KI bewerten, die Sie nicht selbst entwickelt haben

Ein strukturiertes Rahmenwerk zur Risikobewertung von KI-Anbietern – Fragebögen, Warnsignale, vertragliche Schutzmaßnahmen und fortlaufende Überwachung gemäß EU-KI-Verordnung.

Belfast

Belfast

15 Minuten Lesezeit

Von

Von

Ryan Donnelly

Ryan Donnelly

Themen

KI-Governance
Lieferantenrisiko
EU-KI-Verordnung
KI von Drittanbietern
Compliance

Themen

Die meisten unternehmensweiten KI-Lösungen werden nicht intern entwickelt. Laut Gartner sollten bis 2025 über 70 % der Organisationen mindestens eine Form von KI übernommen haben, die von einem Drittanbieter bereitgestellt wird [1]. Dieser Wert ist seither weiter gestiegen. Dennoch wurden die Governance-Frameworks, auf die sich die meisten Organisationen stützen, für Software konzipiert, die sie kontrollieren, nicht für probabilistische Systeme, die auf Daten trainiert werden, die sie nie gesehen haben, die nach Zeitplänen aktualisiert werden, die sie nicht festlegen, und die nach einer Logik arbeiten, die selbst für den Anbieter undurchsichtig sein kann.

Die regulatorische Landschaft hat mit dieser Realität Schritt gehalten. Der EU AI Act, der 2025 in seine stufenweise Durchsetzungsphase eingetreten ist, zieht eine klare Linie zwischen Anbietern (denen, die ein KI-System entwickeln oder in Verkehr bringen) und Betreibern (denen, die es unter ihrer eigenen Verantwortung nutzen). Doch diese Linie entbindet Betreiber nicht von ihrer Verantwortung. Artikel 26 stellt klar, dass Betreiber von Hochrisiko-KI-Systemen spezifische Pflichten in Bezug auf menschliche Aufsicht, Qualität der Eingangsdaten, Überwachung und Dokumentation tragen [2]. Die unbequeme Wahrheit für Beschaffungs- und Compliance-Teams lautet: Die regulatorische Haftung geht nicht allein deshalb auf den Anbieter über, weil dieser das Modell entwickelt hat.

Dieser Leitfaden bietet einen strukturierten Rahmen zur Risikobewertung von KI-Anbietern, von der ersten Due Diligence bis zur laufenden Überwachung.

Warum KI-Risiken von Drittanbietern einen anderen Ansatz erfordern

Traditionelles Vendor-Risk-Management bewertet Verfügbarkeit, Datensicherheit und vertragliche SLAs. Diese bleiben für KI-Anbieter notwendig, sind jedoch nicht ausreichend. KI-Systeme führen eine Risikokategorie ein, die herkömmliche IT-Beschaffung nie adressieren sollte.

Drei Eigenschaften machen KI von Drittanbietern grundlegend anders als andere Software:

Undurchsichtigkeit der Entscheidungslogik. Eine herkömmliche SaaS-Anwendung führt deterministischen Code aus. Ein KI-System kann Ausgaben erzeugen, die durch Trainingsdaten, Feineinstellungsentscheidungen und Parameter zur Inferenzzeit geprägt sind, in die die einsetzende Organisation keinen Einblick hat. Wenn ein Kreditwürdigkeitsmodell einen Antrag ablehnt oder ein HR-Screening-Tool Kandidatinnen und Kandidaten einstuft, muss der Betreiber diese Entscheidung erklären können. Kann der Anbieter keine nachvollziehbare Erklärung liefern, bleibt der Betreiber für Ergebnisse verantwortlich, die er nicht interpretieren kann.

Nicht statisches Verhalten. Herkömmliche Software verändert sich durch versionierte Releases. KI-Modelle können ihr Verhalten durch erneutes Training, Feineinstellung oder Änderungen an zugrunde liegenden Datenpipelines verschieben, mitunter ohne formalen Release-Zyklus. Ein Modell, das während der Beschaffung innerhalb akzeptabler Parameter arbeitete, kann in den folgenden Monaten abweichen. Der Betreiber erfährt dies womöglich erst, nachdem bereits Schaden entstanden ist.

Vererbtes Datenrisiko. Die Trainingsdaten, die das Verhalten eines Modells prägen, können Verzerrungen, urheberrechtlich geschütztes Material oder personenbezogene Daten enthalten, die ohne ausreichende rechtliche Grundlage verarbeitet wurden. Der Betreiber trägt die Folgen dieser vorgelagerten Entscheidungen, obwohl er an deren Zustandekommen nicht beteiligt war. Nach der DSGVO trägt der Betreiber gemeinsam mit dem Anbieter das Durchsetzungsrisiko, wenn ein KI-System personenbezogene Daten in einer Weise verarbeitet, die nicht mit den Datenverarbeitungsvereinbarungen des Betreibers vereinbar ist [3].

Herkömmliche Anbieter-Scorecards erfassen diese Dynamiken nicht. Ein speziell entwickelter Bewertungsrahmen ist unerlässlich.

Ein strukturierter Rahmen zur Risikobewertung von KI-Anbietern

Der folgende Rahmen gliedert die Bewertung von KI-Anbietern in sieben Domänen. Jede Domäne adressiert eine spezifische Governance-Fragestellung und kann während der Beschaffung, der periodischen Überprüfung oder einer anlassbezogenen Neubewertung bewertet werden.

Organisationen, die Plattformen wie Enzai einsetzen, können diesen Rahmen in bestehende Workflows für den Anbieter-Lebenszyklus integrieren und so sicherstellen, dass KI-spezifische Kriterien neben traditionellen IT-Risikokennzahlen und nicht in einem separaten, voneinander getrennten Prozess berücksichtigt werden.

Bewertungsfragebogen




Domäne

Bewertungskriterien

Bewertungsleitfaden

Modelltransparenz

Legt der Anbieter den Modelltyp, die Architekturfamilie und die Version offen? Kann der Anbieter Modellkarten oder technische Datenblätter bereitstellen? Gibt es Dokumentation zu bekannten Einschränkungen?

Vollständige Offenlegung mit Modellkarten = hoch. Teilweise Offenlegung = mittel. „Proprietär, kann nicht geteilt werden“ = niedrig.

Datengovernance

Welche Daten wurden für das Training verwendet? Bestätigt der Anbieter eine rechtmäßige Grundlage für die Datenverarbeitung? Sind Nachweise zur Datenherkunft verfügbar? Wie werden personenbezogene Daten bei der Inferenz behandelt?

Dokumentierte Datenherkunft mit rechtlicher Grundlage = hoch. Allgemeine Aussagen ohne Nachweise = mittel. Keine Informationen verfügbar = niedrig.

Bias- und Fairness-Tests

Hat der Anbieter Bias-Audits durchgeführt? Für welche geschützten Merkmale? Sind die Ergebnisse verfügbar? Welche Behebungsprozesse gibt es?

Unabhängiges Audit durch Dritte mit veröffentlichten Ergebnissen = hoch. Interne Tests mit Dokumentation = mittel. Keine Tests oder „wir testen das nicht“ = niedrig.

Sicherheit

Über welche Sicherheitszertifizierungen verfügt der Anbieter (SOC 2, ISO 27001)? Wie werden Modelle gegen adversariale Angriffe, Prompt Injection oder Datenextraktion geschützt? Gibt es ein Schwachstellenoffenlegungsprogramm?

Relevante Zertifizierungen plus KI-spezifische Sicherheitsmaßnahmen = hoch. Nur allgemeine Zertifizierungen = mittel. Keine Zertifizierungen = niedrig.

Compliance und Zertifizierungen

Kann der Anbieter die Einhaltung des EU AI Act, der DSGVO oder branchenspezifischer Regulierung nachweisen? Liegt für Hochrisikosysteme eine Konformitätsbewertung vor?

Konformitätsbewertung mit Dokumentation abgeschlossen = hoch. Compliance-Programm in Umsetzung = mittel. Keine Compliance-Aktivitäten = niedrig.

Vorfallsreaktion

Verfügt der Anbieter über einen dokumentierten KI-Vorfallsreaktionsplan? Wie lauten die Benachrichtigungsfristen? Gibt es einen Review-Prozess nach Vorfällen?

Dokumentierter Plan mit definierten SLAs und Review nach Vorfällen = hoch. Allgemeiner Vorfallsprozess, nicht spezifisch für KI = mittel. Kein Prozess = niedrig.

Aktualisierungs- und Änderungsmanagement

Wie kommuniziert der Anbieter Modellaktualisierungen? Gibt es ein Änderungsbenachrichtigungsfenster? Kann der Betreiber Updates testen, bevor sie live gehen? Ist ein Rollback möglich?

Vorabbenachrichtigung mit Testfenster und Rollback = hoch. Benachrichtigung nach der Bereitstellung = mittel. Kein Benachrichtigungsprozess = niedrig.

Abhängigkeiten von Unterauftragsverarbeitern und Basismodellen

Greift der Anbieter auf vorgelagerte KI-Anbieter zurück (z. B. OpenAI, Anthropic, Google)? Was geschieht, wenn der vorgelagerte Anbieter seine Bedingungen ändert, Modelle aktualisiert oder einen Ausfall erleidet? Werden vertragliche Schutzmechanismen weitergereicht?

Vollständige Offenlegung der vorgelagerten Anbieter mit vertraglicher Weitergabe und Notfallplänen = hoch. Teilweise Offenlegung = mittel. Keine Offenlegung oder Abhängigkeit von nur einem Anbieter ohne Fallback = niedrig.

Diese Tabelle sollte als lebendiges Instrument betrachtet werden. Die Bewertungsgrenzen variieren je nach Anwendungsfall: Ein Hochrisiko-KI-System, das in der medizinischen Triage eingesetzt wird, erfordert weitaus strengere Transparenz als ein Empfehlungstool für Inhalte mit geringem Risiko.

Wichtige Fragen an Anbieter

Ein Fragebogen funktioniert nur, wenn die Fragen spezifisch genug sind, um echtes Risiko offenzulegen. Vage Fragen führen zu vagen Antworten. Die folgenden, nach Kategorien gegliederten Fragen sind darauf ausgelegt, belastbare Antworten zu liefern.

Modelltransparenz und Erklärbarkeit

  1. Welche Modellarchitektur verwendet dieses System, und welche Version ist derzeit in der Produktion im Einsatz?

  2. Können Sie eine Modellkarte oder ein technisches Datenblatt bereitstellen, das die vorgesehenen Anwendungsfälle, bekannte Einschränkungen und Leistungsbenchmarks beschreibt?

  3. Welche Methoden stehen zur Verfügung, um einzelnen betroffenen Personen individuelle Vorhersagen oder Entscheidungen zu erklären?

  4. Wenn das Modell auf einem Basismodell eines Drittanbieters beruht (z. B. eines LLM-Anbieters), können Sie offenlegen, auf welchem Basismodell und welcher Version Sie aufbauen?

Datengovernance und Datenschutz

  1. Welche Datensätze wurden verwendet, um dieses Modell zu trainieren und zu validieren, und können Sie einen Nachweis zur Datenherkunft bereitstellen?

  2. Welche rechtmäßige Grundlage nach DSGVO (oder gleichwertiger Regulierung) besteht für die Verarbeitung personenbezogener Daten im Training?

  3. Speichert, memorisiert oder reproduziert das Modell Trainingsdaten während der Inferenz? Welche Schutzmaßnahmen verhindern Datenabfluss?

  4. Wie werden Kundendaten nach der Bereitstellung verwendet - werden sie in das Modelltraining zurückgeführt, und kann der Kunde dem widersprechen?

Bias, Fairness und Sicherheit

  1. Wurde dieses Modell auf Bias in Bezug auf geschützte Merkmale geprüft, wie sie nach dem anwendbaren Antidiskriminierungsrecht definiert sind?

  2. Wer hat das Audit durchgeführt, und sind die Ergebnisse zur Prüfung verfügbar?

  3. Welche laufende Überwachung ist vorhanden, um neu entstehenden Bias oder Leistungsverschlechterungen über Teilgruppen hinweg zu erkennen?

  4. Für generative KI-Systeme: Welche Schutzmechanismen verhindern die Erzeugung schädlicher, irreführender oder rechtlich problematischer Ausgaben?

Sicherheit und Resilienz

  1. Welche spezifischen Schutzmaßnahmen bestehen gegen adversariale Angriffe, Prompt Injection, Model Inversion oder die Extraktion von Trainingsdaten?

  2. Wurde das System über standardmäßige Anwendungssicherheitstests hinaus einem KI-spezifischen Penetrationstest oder Red-Teaming unterzogen?

  3. Wie sieht der Disaster-Recovery- und Business-Continuity-Plan speziell für die KI-Komponenten dieses Dienstes aus?

Compliance und regulatorische Bereitschaft

  1. Wurde dieses System gemäß den Risikokategorien des EU AI Act eingestuft, und wenn ja, welche Einstufung hat es erhalten?

  2. Können Sie Dokumentationen einer Konformitätsbewertung für Hochrisiko-KI-Systeme gemäß Artikel 43 bereitstellen?

  3. Wie lautet Ihr Zeitplan für die vollständige Einhaltung der anwendbaren KI-Vorschriften in unseren Einsatzländern?

Vorfallsreaktion und Rechenschaftspflicht

  1. Wie lautet Ihr KI-spezifischer Vorfallsreaktionsplan, und was löst eine Vorfallsklassifizierung aus?

  2. Wie lautet die vertragliche Benachrichtigungsfrist für KI-bezogene Vorfälle, die unsere Bereitstellung betreffen?

  3. Können Sie Beispiele früherer KI-Vorfälle und deren Behebung bereitstellen?

Nicht jede Frage ist für jeden Anbieter relevant. Doch das Fehlen glaubwürdiger Antworten auf Fragen, die eindeutig relevant sind, ist an sich bereits ein Befund.

Warnsignale in Anbieterantworten

Die Bewertung von Anbietern hängt ebenso davon ab, wie Organisationen Antworten aufnehmen, wie davon, was diese Antworten enthalten. Bestimmte Muster in den Antworten von Anbietern sollten eine intensivere Prüfung auslösen.

Unschärfe, die sich als Vertraulichkeit tarnt

Es gibt eine legitime Grundlage zum Schutz von Geschäftsgeheimnissen. Ein Anbieter, der jedoch die allgemeine Architekturfamilie eines Modells, die Kategorien der verwendeten Trainingsdaten oder das Vorhandensein von Bias-Tests nicht offenlegen will, schützt nicht geistiges Eigentum. Er verschleiert Risiken. Ein Anbieter, der auf jede Frage zur Transparenz mit „unser Modell ist proprietär, und wir können keine Details teilen“ antwortet, ist kein Anbieter, der die regulatorischen Pflichten eines Betreibers unterstützen kann.

Fehlende Dokumentation

Kann ein Anbieter keine Modellkarte, keine Datengovernance-Richtlinie oder keinen Vorfallsreaktionsplan vorlegen, ist die wahrscheinlichste Erklärung, dass diese Dokumente nicht existieren. Das Fehlen von Dokumentation ist kein neutraler Befund. Es zeigt vielmehr, dass der Anbieter nicht in die Governance-Infrastruktur investiert hat, die für einen verantwortungsvollen Einsatz erforderlich ist.

Widerstand gegen Auditrechte

Jeder Anbieter, der vertragliche Auditrechte ablehnt, sei es mit Verweis auf logistische Schwierigkeiten oder kommerzielle Unangemessenheit, sollte mit Vorsicht betrachtet werden. Der EU AI Act sieht ausdrücklich vor, dass Betreiber die Compliance des Anbieters überprüfen müssen [4]. Ein Anbieter, der sich Auditregelungen widersetzt, ist ein Anbieter, der einer Prüfung möglicherweise nicht standhält.

Kein Vorfallsreaktionsprozess

Wenn die Antwort des Anbieters auf die Frage „Wie lautet Ihr KI-Vorfallsreaktionsplan?“ aus Schweigen, einem Verweis auf generisches IT-Incident-Management oder dem Versprechen besteht, einen solchen Plan erst noch zu entwickeln, sollte die Organisation prüfen, ob sie darauf vorbereitet ist, die volle Last eines KI-Ausfalls ohne Unterstützung des Anbieters zu tragen.

Verschiebende Haftungsklauseln

Achten Sie auf vertragliche Formulierungen, die versuchen, die gesamte Haftung für KI-Ergebnisse auf den Betreiber zu verlagern. Zwar tragen Betreiber durchaus Pflichten, doch ein Anbieter, der keinerlei Verantwortung für Modellleistung, Bias oder Ausfälle übernimmt, sendet ein klares Signal hinsichtlich seines Vertrauens in die eigenen Systeme.

Das Muster ist wichtiger als jede einzelne Antwort. Ein Anbieter, der ehrliche Grenzen transparent macht, ist weitaus weniger risikobehaftet als einer, der Perfektion behauptet, ohne dafür Belege zu liefern.

Vertragliche Schutzmechanismen für die KI-Beschaffung

Eine Bewertung ist notwendig, aber nicht ausreichend. Die Erkenntnisse müssen in durchsetzbare vertragliche Bestimmungen überführt werden. Standardverträge für Softwarebeschaffung enthalten selten Klauseln, die für KI-spezifische Risiken ausreichend sind. Die folgenden Klauseln sollten für jede Vereinbarung mit einem KI-Anbieter in Betracht gezogen werden.

Auditrechte

Die Vereinbarung sollte dem Betreiber das Recht einräumen, die KI-Systeme des Anbieters zu angemessenen Zeitpunkten und beim Eintritt bestimmter Auslöserereignisse (etwa eines gemeldeten Vorfalls oder einer behördlichen Anfrage) direkt oder über einen unabhängigen Dritten zu auditieren. Dieses Recht sollte sich auf Leistungsdaten des Modells, Ergebnisse von Bias-Tests und Datengovernance-Praktiken erstrecken.

Vorfallsmeldung

Die Vereinbarung sollte maximale Fristen für die Meldung KI-bezogener Vorfälle festlegen, getrennt von allgemeinen Servicevorfällen. Für Hochrisikosysteme ist eine Meldung innerhalb von 24 Stunden nach Entdeckung ein angemessener Ausgangspunkt. Die Meldung sollte die Art des Vorfalls, betroffene Systeme, die geschätzten Auswirkungen und die Abhilfemaßnahmen enthalten.

Datenverarbeitung und Aufbewahrung

Die Vereinbarung sollte präzise festlegen, wie Kundendaten in Bezug auf das KI-System verwendet werden: ob sie zur Modellverbesserung genutzt werden, wie sie gespeichert werden, wann sie gelöscht werden und ob der Kunde deren Entfernung aus Trainingsdatensätzen verlangen kann. Dies ist angesichts der fortlaufenden regulatorischen Aufmerksamkeit für die Schnittstelle von KI-Training und Datenschutzrechten besonders kritisch [5].

Benachrichtigung bei Modelländerungen

Die Vereinbarung sollte den Anbieter verpflichten, wesentliche Änderungen am Modell im Voraus zu melden, einschließlich des erneuten Trainings mit neuen Daten, Architekturänderungen und signifikanter Parameteranpassungen. Die Benachrichtigungsfrist sollte dem Betreiber ermöglichen, Tests durchzuführen, bevor das aktualisierte Modell in seiner Umgebung in Produktion geht. Ein Benachrichtigungsfenster von 30 Tagen für nicht dringende Änderungen ist ein vernünftiger Ausgangswert.

Leistungskennzahlen und SLAs

Über herkömmliche Verfügbarkeits-SLAs hinaus sollte die Vereinbarung messbare Leistungskennzahlen für das KI-System festlegen, einschließlich Genauigkeitsschwellen, Fairness-Metriken und Latenzanforderungen. Ein Verstoß gegen diese Kennzahlen sollte definierte Abhilfepflichten und, sofern angemessen, Kündigungsrechte auslösen.

Haftungsverteilung

Die Vereinbarung sollte die Haftung für KI-bezogene Schäden so verteilen, dass der jeweilige Grad der Kontrolle der Parteien abgebildet wird. Ein Anbieter, der das Modell, die Trainingsdaten und den Aktualisierungszyklus kontrolliert, sollte eine anteilige Haftung für Fehler in diesen Komponenten tragen. Eine pauschale Freistellung zugunsten des Anbieters ist für KI-Implementierungen nicht angemessen.

Starke Verträge ersetzen Governance nicht, aber sie liefern den Durchsetzungsmechanismus, der Governance operational macht.

Laufende Überwachung: über die einmalige Bewertung hinaus

Eine KI-Anbieterbewertung, die einmal bei der Beschaffung durchgeführt und anschließend abgelegt wird, ist ein Compliance-Artefakt, keine Risikomanagement-Praxis. KI-Systeme verändern sich, und damit auch die Risiken, die sie mit sich bringen.

Indikatoren für die kontinuierliche Überwachung

Organisationen sollten eine laufende Überwachung über mehrere Dimensionen hinweg etablieren:

  • Leistungsdrift. Verfolgen Sie die Ausgabequalität des KI-Systems anhand der bei der Beschaffung festgelegten Benchmarks. Eine Verschlechterung kann auf Modell-Drift, Probleme in der Datenpipeline oder nicht offengelegte Modelländerungen hinweisen.

  • Häufigkeit und Schwere von Vorfällen. Erfassen Sie alle KI-bezogenen Vorfälle, einschließlich Beinahe-Vorfälle, und analysieren Sie deren Entwicklung über die Zeit. Eine zunehmende Häufigkeit anomaler Ausgaben erfordert eine Untersuchung.

  • Regulatorische Entwicklungen. Beobachten Sie Änderungen in der anwendbaren KI-Regulierung, die die Risikoklassifizierung des Systems verändern oder neue Pflichten für Betreiber begründen können.

  • Finanzielle und operative Stabilität des Anbieters. Ein finanziell unter Druck stehender Anbieter könnte Investitionen in Modellpflege, Sicherheit und Compliance reduzieren - all dies wirkt sich unmittelbar auf den Betreiber aus.

Auslöser für eine Neubewertung

Bestimmte Ereignisse sollten außerhalb des regulären Überprüfungszyklus eine vollständige Neubewertung des Anbieters auslösen:

  • Der Anbieter kündigt ein wesentliches Modellupdate oder eine Architekturänderung an

  • Ein signifikanter KI-Vorfall tritt ein, unabhängig davon, ob er die Bereitstellung der Organisation betrifft oder öffentlich gemeldet wurde

  • Regulatorische Leitlinien ändern die Risikoklassifizierung des KI-Systems

  • Die Organisation ändert die Nutzung des KI-Systems in einer Weise, die das Risikoprofil wesentlich verändert

  • Der Anbieter wird übernommen, fusioniert oder durchläuft einen bedeutenden Führungswechsel

Verankerung der Überwachung in Governance-Workflows

Wirksame laufende Überwachung erfordert mehr als gute Absichten. Sie erfordert Werkzeuge, die die Anbieteraufsicht in bestehende Governance-Zyklen integrieren. Enzai stellt die Infrastruktur für die kontinuierliche Überwachung von KI von Drittanbietern bereit und verbindet Bewertungsergebnisse, vertragliche Verpflichtungen und Echtzeit-Leistungsindikatoren in einem einzigen Governance-Workflow. Ohne diese Integration neigen Überwachungspflichten dazu, mit der Zeit zu erodieren, wodurch Organisationen genau dann exponiert sind, wenn Wachsamkeit am wichtigsten ist.

Governance ist kein Ereignis. Sie ist eine kontinuierliche Praxis.

Die Falle des Artikels 25: Wenn Betreiber zu Anbietern werden

Eine der folgenreichsten und am wenigsten verstandenen Bestimmungen des EU AI Act betrifft die Umstände, unter denen ein Betreiber als Anbieter neu eingestuft wird. Artikel 25 legt fest, dass ein Betreiber als Anbieter gilt, wenn er seinen Namen oder seine Marke auf ein bereits auf dem Markt befindliches Hochrisiko-KI-System aufbringt, ein Hochrisikosystem wesentlich verändert, den vorgesehenen Verwendungszweck eines KI-Systems so anpasst, dass es zu einem Hochrisikosystem wird, oder ein Hochrisikosystem auf den Markt bringt, nachdem ein Dritter dies bereits im Einvernehmen mit dem ursprünglichen Anbieter getan hat [6].

Dies hat direkte Auswirkungen auf Organisationen, die KI von Drittanbietern anpassen. Das Feineinstellen eines Modells eines Anbieters mit proprietären Daten, das Verändern seiner Ausgaben durch zusätzliche Verarbeitungsebenen oder der Einsatz für einen Anwendungsfall, der wesentlich vom vom Anbieter angegebenen vorgesehenen Zweck abweicht, kann jeweils ausreichen, um eine Neubewertung auszulösen.

Die Folgen einer Neubewertung sind erheblich. Ein Anbieter trägt die volle Last der EU AI Act-Pflichten für Hochrisiko-Systeme, einschließlich Konformitätsbewertungen, technischer Dokumentation, Überwachung nach der Markteinführung und Registrierung in der EU-Datenbank. Diese Pflichten sind deutlich umfangreicher als die den Betreibern auferlegten.

Praktische Schritte zur Vermeidung der Falle

  • Den vorgesehenen Verwendungszweck dokumentieren. Führen Sie klare Aufzeichnungen über den vom Anbieter angegebenen vorgesehenen Verwendungszweck des KI-Systems und den tatsächlichen Anwendungsfall der Organisation. Jede Abweichung sollte von Rechts- und Compliance-Teams geprüft werden.

  • Den Umfang der Anpassung bewerten. Vor dem Feintuning, dem erneuten Training oder einer wesentlichen Änderung eines KI-Systems eines Drittanbieters sollte beurteilt werden, ob die Änderung nach dem Gesetz eine „wesentliche Änderung“ darstellt. Die Leitlinien der Europäischen Kommission zu diesem Punkt werden voraussichtlich weitere Klarheit schaffen, das Risiko besteht jedoch bereits heute [7].

  • Vertragliche Klarheit. Stellen Sie sicher, dass die Vereinbarung klar festlegt, welche Partei Anbieter und welche Betreiber ist, und spezifizieren Sie die Bedingungen, unter denen sich diese Einstufung ändern könnte.

  • Frühzeitig Rechtsberatung einholen. Die Grenze zwischen Anbieter und Betreiber ist eine Frage des Inhalts, nicht der Bezeichnungen. Sich im Vertrag als Betreiber zu bezeichnen, hebt eine tatsächliche Feststellung nicht auf, dass man als Anbieter handelt.

Die Falle des Artikels 25 ist nicht hypothetisch. Da Organisationen KI-Systeme von Anbietern zunehmend anpassen und feintunen, dürfte die Grenze zwischen Bereitstellung und Bereitstellung im Sinne des Gesetzes zu einem der am häufigsten streitbefangenen Bereiche der KI-Regulierung werden.

Aufbau eines belastbaren Programms für KI von Drittanbietern

Die Risikobewertung von KI-Anbietern ist kein Beschaffungshäkchen. Sie ist eine fortlaufende Governance-Disziplin, die rechtliche, technische und operative Bereiche umfasst. Die Organisationen, die dieses Risiko wirksam steuern, werden jene sein, die die Aufsicht über KI-Anbieter mit derselben Strenge behandeln wie Finanzkontrollen oder den Datenschutz.

Der hier skizzierte Rahmen bietet einen Ausgangspunkt: strukturierte Bewertung, spezifische Fragen, vertragliche Schutzmechanismen, kontinuierliche Überwachung und das Bewusstsein für die regulatorischen Fallen, die einen Betreiber über Nacht in einen Anbieter verwandeln können. Für Organisationen, die Hochrisiko-KI-Systeme in regulierten Umgebungen einsetzen, ist davon nichts optional.

Für Organisationen, die die Governance von KI von Drittanbietern in großem Maßstab operationalisieren möchten, bietet Enzai die Plattforminfrastruktur, um Anbieterbewertungen zu verwalten, Verpflichtungen nachzuverfolgen und eine kontinuierliche Aufsicht über das gesamte KI-Portfolio hinweg sicherzustellen. Fordern Sie eine Demo an, um zu sehen, wie dies in der Praxis funktioniert.

Quellen

[1] Gartner, „Gartner prognostiziert, dass 70 % der Organisationen ihren Fokus auf KI-Governance verlagern werden“, 2024.

[2] Europäisches Parlament und Rat, Verordnung (EU) 2024/1689 (EU AI Act), Artikel 26 – Pflichten der Betreiber von Hochrisiko-KI-Systemen, 2024.

[3] Europäischer Datenschutzausschuss, „Stellungnahme zum Zusammenspiel zwischen dem AI Act und der DSGVO“, 2024.

[4] Europäisches Parlament und Rat, Verordnung (EU) 2024/1689 (EU AI Act), Artikel 13 (Transparenz und Bereitstellung von Informationen an Betreiber) und Artikel 26 (Pflichten der Betreiber), 2024.

[5] Europäischer Datenschutzausschuss, „Leitlinien zur Verwendung personenbezogener Daten im Training von KI-Modellen“, 2025.

[6] Europäisches Parlament und Rat, Verordnung (EU) 2024/1689 (EU AI Act), Artikel 25 – Verantwortlichkeiten entlang der KI-Wertschöpfungskette, 2024.

[7] Europäische Kommission, „Leitlinien zur wesentlichen Änderung von KI-Systemen“ (in Vorbereitung), erwähnt in Erwägungsgrund 88 des EU AI Act.

Erkunden Sie mehr

Erkunden Sie mehr

Abonnieren Sie unseren Newsletter

Indem Sie sich anmelden, stimmen Sie der Enzai Datenschutzerklärung zu.

Abonnieren Sie unseren Newsletter

Indem Sie sich anmelden, stimmen Sie der Enzai Datenschutzerklärung zu.

Abonnieren Sie unseren Newsletter

Indem Sie sich anmelden, stimmen Sie der Enzai Datenschutzerklärung zu.

Abonnieren Sie unseren Newsletter

Indem Sie sich anmelden, stimmen Sie der Enzai Datenschutzerklärung zu.

Konformität durch Design

Konformität durch Design

ISO 27001

Enzai ist nach ISO 27001 zertifiziert und ist dies seit 2023. Wir verpflichten uns zu jährlichen Audits, die von NQA durchgeführt werden, und arbeiten eng mit unserem Sicherheitsberatungspartner Instil zusammen, um unsere Sicherheitslage kontinuierlich zu aktualisieren und zu verbessern.

DSGVO

ISO 27001

Enzai ist nach ISO 27001 zertifiziert und ist dies seit 2023. Wir verpflichten uns zu jährlichen Audits, die von NQA durchgeführt werden, und arbeiten eng mit unserem Sicherheitsberatungspartner Instil zusammen, um unsere Sicherheitslage kontinuierlich zu aktualisieren und zu verbessern.

DSGVO

KI-Governance

KI-Governance

Infrastruktur

Infrastruktur

Entwickelt für Vertrauen.

Entwickelt für Vertrauen.

Ermöglichen Sie Ihrer Organisation die Einführung, Steuerung und Überwachung von KI mit unternehmensgerechtem Vertrauen. Entwickelt für regulierte Organisationen, die im großen Maßstab operieren.

Verbinden Sie nahtlos Ihre bestehenden Systeme, Richtlinien und KI-Workflows – alles auf einer einheitlichen Plattform.

Verbinden Sie nahtlos Ihre bestehenden Systeme, Richtlinien und KI-Workflows – alles auf einer einheitlichen Plattform.