Entdecken Sie das vollständige Sortiment an KI-Governance-Produkten von Enzai, das darauf ausgelegt ist, Organisationen dabei zu helfen, KI mit Vertrauen zu verwalten, zu überwachen und zu skalieren. Von strukturierten Aufnahmen und zentralisierten KI-Inventaren bis hin zu automatisierten Bewertungen und Echtzeitüberwachung bietet Enzai die Bausteine, um Governance direkt in alltägliche KI-Workflows einzubetten — ohne die Innovation zu verlangsamen.

Enzai

Vorschriften für KI

Risiken durch KI-Anbieter von Drittanbietern: Wie Sie KI bewerten, die Sie nicht selbst entwickelt haben

Vorschriften für KI

Risiken durch KI-Anbieter von Drittanbietern: Wie Sie KI bewerten, die Sie nicht selbst entwickelt haben

Vorschriften für KI

Risiken durch KI-Anbieter von Drittanbietern: Wie Sie KI bewerten, die Sie nicht selbst entwickelt haben

Ein strukturiertes Rahmenwerk zur Risikobewertung von KI-Anbietern – Fragebögen, Warnsignale, vertragliche Schutzmaßnahmen und fortlaufende Überwachung gemäß EU-KI-Verordnung.

Belfast

Belfast

16 Minuten Lesezeit

Von

Von

Ryan Donnelly

Ryan Donnelly

Themen

KI-Governance
Lieferantenrisiko
EU-KI-Verordnung
KI von Drittanbietern
Compliance

Themen

Die meiste Enterprise-KI wird nicht intern entwickelt. Laut Gartner sollten bis 2025 über 70 % der Organisationen mindestens eine Form von KI übernommen haben, die von einem Drittanbieter bereitgestellt wird [1]. Diese Zahl ist seitdem weiter gestiegen. Dennoch wurden die Governance-Frameworks, auf die sich die meisten Organisationen stützen, für Software konzipiert, die sie selbst kontrollieren – nicht für probabilistische Systeme, die mit Daten trainiert werden, die sie nie gesehen haben, die nach Zeitplänen aktualisiert werden, die sie nicht festlegen, und die nach einer Logik operieren, die selbst für den Anbieter undurchsichtig sein kann.

Die regulatorische Landschaft hat mit dieser Realität Schritt gehalten. Der EU AI Act, der 2025 in seine gestaffelte Durchsetzungsphase eingetreten ist, zieht eine klare Linie zwischen Anbietern (denjenigen, die ein KI-System entwickeln oder in Verkehr bringen) und Betreibern (denjenigen, die es unter eigener Verantwortung nutzen). Doch diese Linie entbindet Betreiber nicht von ihrer Verantwortung. Artikel 26 stellt klar, dass Betreiber von Hochrisiko-KI-Systemen spezifische Pflichten in Bezug auf menschliche Aufsicht, Qualität der Eingangsdaten, Überwachung und Aufzeichnungen tragen [2]. Die unbequeme Wahrheit für Einkaufs- und Compliance-Teams lautet: Die regulatorische Haftung geht nicht allein deshalb auf den Anbieter über, weil dieser das Modell entwickelt hat.

Dieser Leitfaden bietet ein strukturiertes Framework zur Risikobewertung von KI-Anbietern – von der initialen Due Diligence bis hin zur laufenden Überwachung.

Warum Risiken durch KI von Drittanbietern einen anderen Ansatz erfordern

Traditionelles Vendor Risk Management bewertet Verfügbarkeit, Datensicherheit und vertragliche SLAs. Diese bleiben für KI-Anbieter notwendig, sind jedoch nicht ausreichend. KI-Systeme bringen eine Risikokategorie mit sich, die die klassische IT-Beschaffung nie adressieren sollte.

Drei Eigenschaften machen KI von Drittanbietern grundlegend anders als andere Software:

Intransparenz der Entscheidungslogik. Eine herkömmliche SaaS-Anwendung führt deterministischen Code aus. Ein KI-System kann Ausgaben erzeugen, die durch Trainingsdaten, Feinabstimmungsentscheidungen und Inferenzparameter geprägt sind, in die das einsetzende Unternehmen keinen Einblick hat. Wenn ein Kreditbewertungsmodell einen Antrag ablehnt oder ein Screening-Tool für Personalwesen Kandidaten bewertet, muss der Betreiber diese Entscheidung erklären können. Wenn der Anbieter keine nachvollziehbare Erklärung liefern kann, bleibt der Betreiber für Ergebnisse verantwortlich, die er nicht interpretieren kann.

Nicht-statisches Verhalten. Herkömmliche Software verändert sich durch versionierte Releases. Das Verhalten von KI-Modellen kann sich durch Retraining, Feinabstimmung oder Änderungen an zugrunde liegenden Datenpipelines verschieben, manchmal ohne formalen Release-Zyklus. Ein Modell, das während der Beschaffung innerhalb akzeptabler Parameter arbeitete, kann in den darauffolgenden Monaten abweichen. Der Betreiber bemerkt dies möglicherweise erst, wenn bereits ein Schaden eingetreten ist.

Übernommenes Datenrisiko. Die Trainingsdaten, die das Verhalten eines Modells prägen, können Verzerrungen, urheberrechtlich geschütztes Material oder personenbezogene Daten enthalten, die ohne ausreichende rechtliche Grundlage verarbeitet wurden. Der Betreiber trägt die Folgen dieser vorgelagerten Entscheidungen, auch wenn er an deren Entstehung nicht beteiligt war. Nach GDPR trägt der Betreiber das Durchsetzungsrisiko gemeinsam mit dem Anbieter, wenn ein KI-System personenbezogene Daten in einer Weise verarbeitet, die mit den Datenverarbeitungsvereinbarungen des Betreibers nicht vereinbar ist [3].

Klassische Anbieter-Scorecards erfassen diese Dynamik nicht. Ein speziell entwickeltes Bewertungsframework ist unerlässlich.

Ein strukturiertes Framework zur Risikobewertung von KI-Anbietern

Das folgende Framework ordnet die Bewertung von KI-Anbietern in sieben Bereiche. Jeder Bereich ist einer konkreten Governance-Fragestellung zugeordnet und kann während der Beschaffung, bei periodischen Reviews oder bei einer anlassbezogenen Neubewertung bewertet werden.

Organisationen, die Plattformen wie Enzai nutzen, können dieses Framework in bestehende Workflows des Anbieter-Lebenszyklus integrieren, sodass KI-spezifische Kriterien neben herkömmlichen IT-Risikokennzahlen und nicht in einem separaten, losgelösten Prozess berücksichtigt werden.

Bewertungsfragebogen





Bereich

Bewertungskriterien

Hinweise zur Bewertung

Modelltransparenz

Gibt der Anbieter den Modelltyp, die Architekturfamilie und die Version offen? Kann der Anbieter Modellkarten oder Datasheets bereitstellen? Gibt es Dokumentation zu bekannten Einschränkungen?

Vollständige Offenlegung mit Modellkarten = hoch. Teilweise Offenlegung = mittel. „Proprietär, kann nicht geteilt werden“ = niedrig.

Datengovernance

Welche Daten wurden für das Training verwendet? Bestätigt der Anbieter eine rechtmäßige Grundlage für die Datenverarbeitung? Sind Aufzeichnungen zur Datenherkunft verfügbar? Wie werden personenbezogene Daten bei der Inferenz behandelt?

Dokumentierte Datenherkunft mit rechtlicher Grundlage = hoch. Allgemeine Aussagen ohne Nachweise = mittel. Keine Informationen verfügbar = niedrig.

Bias- und Fairness-Tests

Hat der Anbieter Bias-Audits durchgeführt? Über welche geschützten Merkmale hinweg? Sind die Ergebnisse verfügbar? Welche Abhilfemaßnahmen existieren?

Unabhängiges Audit durch Dritte mit veröffentlichten Ergebnissen = hoch. Interne Tests mit Dokumentation = mittel. Keine Tests oder „wir testen das nicht“ = niedrig.

Sicherheit

Über welche Sicherheitszertifizierungen verfügt der Anbieter (SOC 2, ISO 27001)? Wie werden Modelle gegen adversarielle Angriffe, Prompt-Injection oder Datenextraktion geschützt? Gibt es ein Programm zur Offenlegung von Schwachstellen?

Relevante Zertifizierungen plus KI-spezifische Sicherheitsmaßnahmen = hoch. Nur allgemeine Zertifizierungen = mittel. Keine Zertifizierungen = niedrig.

Compliance und Zertifizierungen

Kann der Anbieter die Einhaltung des EU AI Act, der GDPR oder sektorspezifischer Regulierung nachweisen? Gibt es eine Konformitätsbewertung für Hochrisikosysteme?

Konformitätsbewertung mit Dokumentation abgeschlossen = hoch. Compliance-Programm in Arbeit = mittel. Keine Compliance-Aktivität = niedrig.

Vorfallreaktion

Verfügt der Anbieter über einen dokumentierten AI-Incident-Response-Plan? Welche Benachrichtigungsfristen gelten? Gibt es einen Prozess zur Nachbereitung von Vorfällen?

Dokumentierter Plan mit definierten SLAs und Nachbereitung nach Vorfällen = hoch. Allgemeiner Vorfallprozess, nicht spezifisch für KI = mittel. Kein Prozess = niedrig.

Update- und Änderungsmanagement

Wie kommuniziert der Anbieter Modellupdates? Gibt es ein Zeitfenster für Änderungsmitteilungen? Kann der Betreiber Updates testen, bevor sie live gehen? Ist ein Rollback möglich?

Vorabinformation mit Testfenster und Rollback = hoch. Mitteilung nach Bereitstellung = mittel. Kein Benachrichtigungsprozess = niedrig.

Abhängigkeit von Unterauftragsverarbeitern und Basismodellen

Stützt sich der Anbieter auf vorgelagerte KI-Anbieter (z. B. OpenAI, Anthropic, Google)? Was geschieht, wenn der vorgelagerte Anbieter Bedingungen ändert, Modelle aktualisiert oder einen Ausfall erleidet? Werden vertragliche Schutzmechanismen weitergereicht?

Vollständige Offenlegung der vorgelagerten Anbieter mit vertraglicher Durchreichung und Notfallplänen = hoch. Teilweise Offenlegung = mittel. Keine Offenlegung oder Abhängigkeit von nur einem Anbieter ohne Fallback = niedrig.

Diese Tabelle sollte als lebendiges Instrument betrachtet werden. Die Schwellenwerte für die Bewertung variieren je nach Anwendungsfall: Ein Hochrisiko-KI-System im Bereich der medizinischen Triage erfordert weit strengere Transparenz als ein risikoarmes Tool zur Inhaltsempfehlung.

Wichtige Fragen an Anbieter

Ein Fragebogen funktioniert nur dann, wenn die Fragen spezifisch genug sind, um echtes Risiko offenzulegen. Vage Fragen führen zu vagen Antworten. Die folgenden, nach Kategorien geordneten Fragen sind darauf ausgelegt, umsetzbare Antworten zu erhalten.

Modelltransparenz und Erklärbarkeit

  1. Welche Modellarchitektur verwendet dieses System, und welche Version ist derzeit in der Produktion eingesetzt?

  2. Können Sie eine Modellkarte oder ein technisches Datasheet bereitstellen, das beabsichtigte Anwendungsfälle, bekannte Einschränkungen und Leistungsbenchmarks beschreibt?

  3. Welche Methoden stehen zur Verfügung, um einzelnen betroffenen Personen einzelne Vorhersagen oder Entscheidungen zu erklären?

  4. Wenn das Modell auf einem Basismodell eines Dritten beruht (z. B. einem LLM-Anbieter), können Sie offenlegen, auf welchem Basismodell und welcher Version Sie aufsetzen?

Datengovernance und Datenschutz

  1. Welche Datensätze wurden zum Trainieren und Validieren dieses Modells verwendet, und können Sie eine Aufzeichnung zur Datenherkunft bereitstellen?

  2. Auf welcher rechtmäßigen Grundlage gemäß GDPR (oder gleichwertiger Regulierung) erfolgt die Verarbeitung personenbezogener Daten im Training?

  3. Speichert, memoriert oder reproduziert das Modell Trainingsdaten während der Inferenz? Welche Schutzmaßnahmen verhindern Datenabfluss?

  4. Wie werden Kundendaten nach der Bereitstellung verwendet – fließen sie zurück in das Modelltraining, und kann der Kunde dem widersprechen?

Bias, Fairness und Sicherheit

  1. Wurde dieses Modell auf Bias im Hinblick auf geschützte Merkmale auditiert, wie sie nach dem anwendbaren Antidiskriminierungsrecht definiert sind?

  2. Wer hat das Audit durchgeführt, und sind die Ergebnisse zur Prüfung verfügbar?

  3. Welche laufenden Überwachungsmaßnahmen gibt es, um neu entstehenden Bias oder Leistungsabfälle über Teilgruppen hinweg zu erkennen?

  4. Für generative KI-Systeme: Welche Leitplanken verhindern die Erzeugung schädlicher, irreführender oder rechtlich problematischer Ausgaben?

Sicherheit und Resilienz

  1. Welche konkreten Schutzmaßnahmen bestehen gegen adversarielle Angriffe, Prompt-Injection, Model Inversion oder die Extraktion von Trainingsdaten?

  2. Wurde das System zusätzlich zu standardmäßigen Anwendungssicherheitstests einem KI-spezifischen Penetrationstest oder Red-Teaming unterzogen?

  3. Wie lautet der Disaster-Recovery- und Business-Continuity-Plan speziell für die KI-Komponenten dieses Dienstes?

Compliance und regulatorische Bereitschaft

  1. Wurde dieses System den Risikokategorien des EU AI Act zugeordnet, und wenn ja, welche Einstufung hat es erhalten?

  2. Können Sie eine Dokumentation einer Konformitätsbewertung für Hochrisiko-KI-Systeme vorlegen, wie sie gemäß Artikel 43 erforderlich ist?

  3. Wie lautet Ihr Zeitplan für die vollständige Einhaltung der in unseren Einsatzgebieten geltenden KI-Regulierungen?

Vorfallreaktion und Verantwortlichkeit

  1. Wie lautet Ihr KI-spezifischer Vorfallreaktionsplan, und was löst eine Vorfallklassifizierung aus?

  2. Wie lautet die vertragliche Benachrichtigungsfrist für KI-bezogene Vorfälle, die unsere Bereitstellung betreffen?

  3. Können Sie Beispiele früherer KI-Vorfälle und deren Behebung nennen?

Nicht jede Frage wird auf jeden Anbieter zutreffen. Aber das Fehlen glaubwürdiger Antworten auf Fragen, die eindeutig zutreffen, ist bereits für sich genommen ein Befund.

Warnsignale in den Antworten von Anbietern

Die Bewertung von Anbietern hängt ebenso davon ab, wie Organisationen Antworten aufnehmen, wie von deren Inhalt. Bestimmte Muster in den Antworten von Anbietern sollten eine erhöhte Prüfung auslösen.

Unklarheit, die sich als Vertraulichkeit tarnt

Es gibt eine legitime Grundlage für den Schutz von Geschäftsgeheimnissen. Ein Anbieter, der sich jedoch weigert, die allgemeine Architekturfamilie eines Modells, die Kategorien der verwendeten Trainingsdaten oder die Durchführung von Bias-Tests offenzulegen, schützt kein geistiges Eigentum. Er verschleiert Risiken. Ein Anbieter, der auf jede Frage zur Transparenz mit „unser Modell ist proprietär, und wir können keine Details teilen“ antwortet, ist kein Anbieter, der die regulatorischen Pflichten eines Betreibers unterstützen kann.

Fehlende Dokumentation

Wenn ein Anbieter keine Modellkarte, keine Richtlinie zur Datengovernance oder keinen Vorfallreaktionsplan vorlegen kann, ist die naheliegendste Erklärung, dass diese Unterlagen nicht existieren. Das Fehlen von Dokumentation ist kein neutrales Ergebnis. Es zeigt, dass der Anbieter nicht in die Governance-Infrastruktur investiert hat, die für einen verantwortungsvollen Einsatz erforderlich ist.

Widerstand gegen Audit-Rechte

Jeder Anbieter, der sich vertraglichen Audit-Rechten entgegenstellt, sei es mit dem Hinweis auf logistische Schwierigkeiten oder kommerzielle Unangemessenheit, sollte mit Vorsicht behandelt werden. Der EU AI Act geht ausdrücklich davon aus, dass Betreiber die Einhaltung durch den Anbieter überprüfen müssen [4]. Ein Anbieter, der Audit-Klauseln ablehnt, ist ein Anbieter, der einer Prüfung möglicherweise nicht standhält.

Kein Vorfallreaktionsprozess

Wenn die Antwort des Anbieters auf die Frage „Wie lautet Ihr KI-Vorfallreaktionsplan?“ Schweigen, eine Weiterleitung an ein generisches IT-Incident-Management oder die Zusage ist, einen solchen Plan erst noch zu entwickeln, sollte die Organisation prüfen, ob sie darauf vorbereitet ist, das volle Gewicht eines KI-Ausfalls ohne Unterstützung des Anbieters zu tragen.

Verschiebung der Haftungssprache

Achten Sie auf vertragliche Formulierungen, die versuchen, die gesamte Haftung für KI-Ergebnisse auf den Betreiber zu verlagern. Zwar tragen Betreiber Pflichten, doch ein Anbieter, der keinerlei Verantwortung für Modellleistung, Bias oder Ausfälle übernimmt, sendet ein Signal über sein Vertrauen in seine eigenen Systeme.

Das Muster ist wichtiger als jede einzelne Antwort. Ein Anbieter, der offen über echte Einschränkungen spricht, ist deutlich weniger riskant als einer, der Perfektion behauptet und zugleich keinerlei Nachweise vorlegt.

Vertragliche Schutzmechanismen für die KI-Beschaffung

Bewertung ist notwendig, aber nicht ausreichend. Die Ergebnisse müssen in durchsetzbare Vertragsbedingungen überführt werden. Standardmäßige Software-Beschaffungsverträge enthalten selten Regelungen, die für KI-spezifische Risiken ausreichend sind. Die folgenden Klauseln sollten für die Aufnahme in jeden KI-Anbietervertrag erwogen werden.

Audit-Rechte

Die Vereinbarung sollte dem Betreiber das Recht einräumen, die KI-Systeme des Anbieters in angemessenen Abständen und beim Eintritt bestimmter Auslöserereignisse (etwa eines gemeldeten Vorfalls oder einer regulatorischen Prüfung) direkt oder über einen unabhängigen Dritten zu auditieren. Dieses Recht sollte sich auf Model-Performance-Daten, Ergebnisse von Bias-Tests und Praktiken der Datengovernance erstrecken.

Vorfallbenachrichtigung

Die Vereinbarung sollte maximale Benachrichtigungsfristen für KI-bezogene Vorfälle festlegen, getrennt von allgemeinen Servicevorfällen. Für Hochrisikosysteme ist eine Benachrichtigung innerhalb von 24 Stunden nach Entdeckung ein angemessener Ausgangspunkt. Die Benachrichtigung sollte Art des Vorfalls, betroffene Systeme, geschätzte Auswirkungen und Abhilfemaßnahmen enthalten.

Datenverarbeitung und Aufbewahrung

Die Vereinbarung sollte präzise festlegen, wie Kundendaten in Bezug auf das KI-System verwendet werden: ob sie zur Modellverbesserung genutzt werden, wie sie gespeichert werden, wann sie gelöscht werden und ob der Kunde ihre Entfernung aus Trainingsdatensätzen verlangen kann. Dies ist besonders wichtig angesichts der anhaltenden regulatorischen Aufmerksamkeit für die Schnittstelle zwischen KI-Training und Datenschutzrechten [5].

Benachrichtigung über Modelländerungen

Die Vereinbarung sollte den Anbieter verpflichten, wesentliche Änderungen am Modell im Voraus anzukündigen, einschließlich Retraining auf neuen Daten, Architekturänderungen und signifikanter Parametervariationen. Die Frist sollte dem Betreiber ermöglichen, Tests durchzuführen, bevor das aktualisierte Modell in seiner Umgebung in Produktion geht. Ein Benachrichtigungsfenster von 30 Tagen für nicht dringliche Änderungen ist ein angemessener Ausgangswert.

Leistungskennzahlen und SLAs

Über herkömmliche Verfügbarkeits-SLAs hinaus sollte die Vereinbarung messbare Leistungskennzahlen für das KI-System festlegen, einschließlich Genauigkeitsschwellen, Fairness-Kennzahlen und Latenzanforderungen. Die Verletzung dieser Kennzahlen sollte definierte Abhilfepflichten und, sofern angemessen, Kündigungsrechte auslösen.

Haftungsverteilung

Die Vereinbarung sollte die Haftung für KI-bezogene Schäden so zuordnen, dass der Grad der Kontrolle der jeweiligen Partei berücksichtigt wird. Ein Anbieter, der Modell, Trainingsdaten und Update-Zyklus kontrolliert, sollte eine proportionale Haftung für Mängel in diesen Komponenten tragen. Eine pauschale Freistellung zugunsten des Anbieters ist für KI-Einsätze nicht angemessen.

Starke Verträge ersetzen Governance nicht, aber sie liefern den Durchsetzungsmechanismus, der Governance operativ macht.

Laufende Überwachung: über die einmalige Bewertung hinaus

Eine einmal bei der Beschaffung durchgeführte und anschließend abgelegte Bewertung eines KI-Anbieters ist ein Compliance-Artefakt, keine Risikomanagement-Praxis. KI-Systeme verändern sich – und damit auch die Risiken, die sie mit sich bringen.

Indikatoren für die kontinuierliche Überwachung

Organisationen sollten eine laufende Überwachung über mehrere Dimensionen hinweg etablieren:

  • Leistungsdrift. Verfolgen Sie die Qualität der Ausgaben des KI-Systems anhand der bei der Beschaffung festgelegten Benchmarks. Verschlechterungen können auf Model Drift, Probleme in Datenpipelines oder nicht offengelegte Modelländerungen hinweisen.

  • Vorfallhäufigkeit und -schwere. Protokollieren Sie alle KI-bezogenen Vorfälle, einschließlich Beinahevorfällen, und analysieren Sie deren Entwicklung im Zeitverlauf. Eine zunehmende Häufigkeit anomaler Ausgaben rechtfertigt eine Untersuchung.

  • Regulatorische Entwicklungen. Überwachen Sie Änderungen der einschlägigen KI-Regulierung, die die Risikoklassifizierung des Systems verändern oder neue Pflichten für Betreiber begründen könnten.

  • Finanzielle und operative Stabilität des Anbieters. Ein Anbieter in finanzieller Schieflage könnte die Investitionen in Modellpflege, Sicherheit und Compliance reduzieren – all dies wirkt sich unmittelbar auf den Betreiber aus.

Auslöser für eine Neubewertung

Bestimmte Ereignisse sollten außerhalb des regulären Review-Zyklus eine vollständige Neubewertung des Anbieters auslösen:

  • Der Anbieter kündigt ein umfangreiches Modell-Update oder eine Architekturänderung an

  • Es tritt ein erheblicher KI-Vorfall auf, sei es im Zusammenhang mit der Bereitstellung der Organisation oder öffentlich gemeldet

  • Eine regulatorische Leitlinie ändert die Risikoklassifizierung des KI-Systems

  • Die Organisation verändert die Nutzung des KI-Systems in einer Weise, die das Risikoprofil wesentlich verändert

  • Der Anbieter wird übernommen, fusioniert oder erfährt einen signifikanten Wechsel in der Führungsebene

Einbettung der Überwachung in Governance-Workflows

Wirksame laufende Überwachung erfordert mehr als gute Absichten. Sie erfordert Werkzeuge, die die Anbieterüberwachung in bestehende Governance-Zyklen integrieren. Enzai stellt die Infrastruktur für die kontinuierliche Überwachung von KI durch Dritte bereit und verbindet Bewertungsergebnisse, vertragliche Verpflichtungen und Echtzeit-Leistungsindikatoren in einem einzigen Governance-Workflow. Ohne diese Integration neigen Überwachungspflichten dazu, mit der Zeit an Wirksamkeit zu verlieren, wodurch Organisationen gerade dann exponiert bleiben, wenn Wachsamkeit am wichtigsten ist.

Governance ist kein Ereignis. Sie ist eine kontinuierliche Praxis.

Die Falle von Artikel 25: wenn Betreiber zu Anbietern werden

Eine der folgenreichsten und am wenigsten verstandenen Bestimmungen im EU AI Act betrifft die Umstände, unter denen ein Betreiber als Anbieter neu eingestuft wird. Artikel 25 legt fest, dass ein Betreiber als Anbieter gilt, wenn er seinen Namen oder seine Marke auf ein bereits auf dem Markt befindliches Hochrisiko-KI-System aufbringt, eine wesentliche Änderung an einem Hochrisiko-System vornimmt, den vorgesehenen Verwendungszweck eines KI-Systems so verändert, dass es zu einem Hochrisiko-System wird, oder ein Hochrisiko-System auf den Markt bringt, nachdem ein Dritter dies bereits im Einvernehmen mit dem ursprünglichen Anbieter getan hat [6].

Dies hat direkte Auswirkungen auf Organisationen, die KI von Drittanbietern anpassen. Das Feinabstimmen eines Anbietermodells mit proprietären Daten, das Ändern seiner Ausgaben durch zusätzliche Verarbeitungsebenen oder der Einsatz für einen Anwendungsfall, der sich wesentlich vom vom Anbieter angegebenen vorgesehenen Verwendungszweck unterscheidet, kann jeweils ausreichen, um eine Neueinstufung auszulösen.

Die Folgen einer Neueinstufung sind erheblich. Ein Anbieter trägt für Hochrisiko-Systeme die volle Last der Pflichten des EU AI Act, einschließlich Konformitätsbewertungen, technischer Dokumentation, Überwachung nach dem Inverkehrbringen und Registrierung in der EU-Datenbank. Diese Pflichten sind deutlich aufwendiger als diejenigen, die für Betreiber gelten.

Praktische Schritte zur Vermeidung der Falle

  • Den vorgesehenen Verwendungszweck dokumentieren. Führen Sie klare Aufzeichnungen über den vom Anbieter angegebenen vorgesehenen Verwendungszweck des KI-Systems und den tatsächlichen Anwendungsfall der Organisation. Jede Abweichung sollte von Rechts- und Compliance-Teams geprüft werden.

  • Den Umfang der Anpassung bewerten. Bevor ein KI-System eines Dritten feinabgestimmt, neu trainiert oder wesentlich verändert wird, sollte bewertet werden, ob die Änderung eine „wesentliche Änderung“ im Sinne des Gesetzes darstellt. Die Leitlinien der Europäischen Kommission zu diesem Punkt werden voraussichtlich weitere Klarheit schaffen, das Risiko besteht jedoch bereits jetzt [7].

  • Vertragliche Klarheit. Stellen Sie sicher, dass die Anbietervereinbarung klar festlegt, welche Partei Anbieter und welche Betreiber ist, und unter welchen Bedingungen sich diese Einstufung ändern könnte.

  • Frühzeitig rechtlichen Rat einholen. Die Abgrenzung zwischen Anbieter und Betreiber ist eine Frage des Inhalts, nicht der Bezeichnung. Sich vertraglich als Betreiber zu bezeichnen, setzt eine tatsächliche Feststellung, dass man als Anbieter handelt, nicht außer Kraft.

Die Falle von Artikel 25 ist nicht hypothetisch. Da Organisationen KI-Systeme von Anbietern zunehmend anpassen und feinabstimmen, dürfte die Grenze zwischen Einsatz und Bereitstellung zu einem der am stärksten umstrittenen Bereiche der KI-Regulierung werden.

Ein belastbares KI-Programm für Drittanbieter aufbauen

Die Risikobewertung von KI-Drittanbietern ist kein Häkchen im Beschaffungsprozess. Sie ist eine fortlaufende Governance-Disziplin, die rechtliche, technische und operative Bereiche umfasst. Die Organisationen, die dieses Risiko wirksam steuern, werden diejenigen sein, die die Überwachung von KI-Anbietern mit derselben Strenge behandeln, die sie bei Finanzkontrollen oder beim Datenschutz anwenden.

Das hier dargestellte Framework bietet einen Ausgangspunkt: strukturierte Bewertung, spezifische Fragen, vertragliche Schutzmechanismen, kontinuierliche Überwachung und ein Bewusstsein für die regulatorischen Fallstricke, die einen Betreiber über Nacht zu einem Anbieter machen können. Für Organisationen, die Hochrisiko-KI-Systeme in regulierten Umgebungen einsetzen, ist davon nichts optional.

Für Organisationen, die die Governance von KI durch Dritte in großem Maßstab operationalisieren möchten, bietet Enzai die Plattforminfrastruktur, um Anbieterbewertungen zu verwalten, Verpflichtungen nachzuverfolgen und eine kontinuierliche Aufsicht über das gesamte KI-Portfolio hinweg sicherzustellen. Fordern Sie eine Demo an, um zu sehen, wie dies in der Praxis funktioniert.

Enzai ist die führende Enterprise-KI-Governance-Plattform, die speziell entwickelt wurde, um Unternehmen beim Übergang von abstrakter Politik zu operativer Aufsicht zu unterstützen. Unsere Plattform für KI-Risikomanagement bietet die spezialisierte Infrastruktur, die erforderlich ist, um agentische KI-Governance zu steuern, ein umfassendes KI-Inventar zu pflegen und die Einhaltung des EU AI Act sicherzustellen. Durch die Automatisierung komplexer Workflows ermöglicht Enzai Unternehmen, die Einführung von KI mit Vertrauen zu skalieren und gleichzeitig die Ausrichtung an globalen Standards wie ISO 42001 und NIST zu wahren.

Referenzen

[1] Gartner, „Gartner prognostiziert, dass 70 % der Organisationen den Fokus auf KI-Governance verlagern werden“, 2024.

[2] Europäisches Parlament und Rat, Verordnung (EU) 2024/1689 (EU AI Act), Artikel 26 – Pflichten der Betreiber von Hochrisiko-KI-Systemen, 2024.

[3] Europäischer Datenschutzausschuss, „Stellungnahme zum Zusammenspiel zwischen dem AI Act und der GDPR“, 2024.

[4] Europäisches Parlament und Rat, Verordnung (EU) 2024/1689 (EU AI Act), Artikel 13 (Transparenz und Bereitstellung von Informationen für Betreiber) und Artikel 26 (Pflichten der Betreiber), 2024.

[5] Europäischer Datenschutzausschuss, „Leitlinien zur Nutzung personenbezogener Daten beim Training von KI-Modellen“, 2025.

[6] Europäisches Parlament und Rat, Verordnung (EU) 2024/1689 (EU AI Act), Artikel 25 – Verantwortlichkeiten entlang der KI-Wertschöpfungskette, 2024.

[7] Europäische Kommission, „Leitlinien zur wesentlichen Änderung von KI-Systemen“ (in Kürze), referenziert in Erwägungsgrund 88 des EU AI Act.

Erkunden Sie mehr

Erkunden Sie mehr

Abonnieren Sie unseren Newsletter

Indem Sie sich anmelden, stimmen Sie der Enzai Datenschutzerklärung zu.

Abonnieren Sie unseren Newsletter

Indem Sie sich anmelden, stimmen Sie der Enzai Datenschutzerklärung zu.

Abonnieren Sie unseren Newsletter

Indem Sie sich anmelden, stimmen Sie der Enzai Datenschutzerklärung zu.

Abonnieren Sie unseren Newsletter

Indem Sie sich anmelden, stimmen Sie der Enzai Datenschutzerklärung zu.

Konformität durch Design

Konformität durch Design

ISO 27001

Enzai ist nach ISO 27001 zertifiziert und ist dies seit 2023. Wir verpflichten uns zu jährlichen Audits, die von NQA durchgeführt werden, und arbeiten eng mit unserem Sicherheitsberatungspartner Instil zusammen, um unsere Sicherheitslage kontinuierlich zu aktualisieren und zu verbessern.

DSGVO

ISO 27001

Enzai ist nach ISO 27001 zertifiziert und ist dies seit 2023. Wir verpflichten uns zu jährlichen Audits, die von NQA durchgeführt werden, und arbeiten eng mit unserem Sicherheitsberatungspartner Instil zusammen, um unsere Sicherheitslage kontinuierlich zu aktualisieren und zu verbessern.

DSGVO

KI-Governance

KI-Governance

Infrastruktur

Infrastruktur

Entwickelt für Vertrauen.

Entwickelt für Vertrauen.

Ermöglichen Sie Ihrer Organisation die Einführung, Steuerung und Überwachung von KI mit unternehmensgerechtem Vertrauen. Entwickelt für regulierte Organisationen, die im großen Maßstab operieren.

Verbinden Sie nahtlos Ihre bestehenden Systeme, Richtlinien und KI-Workflows – alles auf einer einheitlichen Plattform.

Verbinden Sie nahtlos Ihre bestehenden Systeme, Richtlinien und KI-Workflows – alles auf einer einheitlichen Plattform.