Trotz der Unsicherheit über den Kurs der Trump-Administration in der KI-Politik treiben die Bundesstaaten neue KI-Gesetze voran. Einige davon konzentrieren sich auf spezifische Anwendungsfälle, wie Georgias SB 164, das den Einsatz automatisierter Entscheidungstools zur Festlegung von Mitarbeitergehältern verbietet. Andere richten das Augenmerk eher auf die Risiken von modernen Pionier-KI-Systemen (Frontier AI), wie etwa Illinois’ HB 3506, das Bewertungs- und Auditierungsanforderungen für Entwickler von hochentwickelten Modellen einführt.

Zudem betrachten Gesetzgeber den KI-Einsatz zunehmend unter den Gesichtspunkten des Verbraucherschutzes und der Diskriminierungsbekämpfung. Obwohl Colorado bisher der einzige Bundesstaat ist, der ein Verbraucherschutzgesetz im Zusammenhang mit KI erlassen hat, hat das Parlament von Texas einen umfassenden Gesetzesentwurf eingebracht; ähnliche Entwürfe werden in einer wachsenden Zahl von Bundesstaaten geprüft.

Im Januar wurde ein ähnlicher Gesetzesentwurf in der New York Assembly (A768) eingebracht. Der New York AI Consumer Protection Act (AICPA), der sich primär mit der Bekämpfung von Diskriminierung befasst, folgt der allgemeinen Struktur des Gesetzes aus Colorado und des Entwurfs aus Texas: Er unterteilt die Anforderungen für Entwickler und Betreiber, konzentriert sich auf die Risiken von Hochrisiko-KI-Systemen und verlangt organisatorische Richtlinien für den verantwortungsvollen Umgang mit KI.

Während einige Kommentatoren den Entwurf begrüßten – insbesondere angesichts der jüngsten politischen Kehrtwenden auf Bundesebene –, kritisieren andere ihn als zu verfahrensorientiert. Beispielsweise meinen Jeffrey Sonnenfeld und Stephen Henriques, dass sich die Gesetzgeber eher darauf konzentrieren sollten, bestehende Verbraucherschutzgesetze auf KI-Systeme anzuwenden.

Welche Bereiche deckt der AICPA ab?

Der AICPA würde Entwickler und Betreiber von „Hochrisiko“-KI-Systemen regulieren. Er definiert Hochrisiko-Systeme als solche, die beim Einsatz „wesentliche Entscheidungen“ treffen oder einen erheblichen Faktor bei deren Zustandekommen darstellen. Dazu gehören Entscheidungen mit einer „wesentlichen rechtlichen oder ähnlichen Wirkung“ in Bereichen wie:

- Zulassung zu Bildungseinrichtungen oder Bildungschancen

- Beschäftigung oder Beschäftigungschancen

- Finanz- oder Kreditdienstleistungen

- Grundlegende staatliche Dienstleistungen

- Gesundheitsdienstleistungen

- Wohnraum oder Wohnraumbeschaffung

- Versicherungswesen

- Rechtsdienstleistungen

Einige KI-Anwendungen sind als Ausnahmen von dieser Definition von Hochrisiko-Systemen ausgenommen.

Anforderungen an Entwickler

Der AICPA würde von Entwicklern verlangen, „angemessene Sorgfalt“ walten zu lassen, um Verbraucher vor Risiken im Zusammenhang mit algorithmischer Diskriminierung zu schützen, und ihre KI-Systeme sowie die Ansätze zur Vermeidung algorithmischer Diskriminierung öffentlich zu beschreiben. Zudem müssten sie den Betreibern eine Dokumentation für Hochrisiko-Systeme bereitstellen, die den Verwendungszweck, schädliche und unangemessene Verwendungszwecke, Trainingsdaten sowie die erwarteten Ergebnisse umfasst.

Für Entwickler gilt eine „widerlegbare Vermutung“ der angemessenen Sorgfalt, wenn sie sich unabhängigen Audits durch staatlich zugelassene Prüfer unterziehen. Solche Audits würden sich auf das Potenzial für eine Diskriminierung geschützter Personengruppen konzentrieren.

Anforderungen an Betreiber

Zu den Anforderungen an Betreiber gehören die Veröffentlichung ähnlicher Erklärungen zur KI-Nutzung, die Einführung einer Risikomanagement-Richtlinie und eines entsprechenden Programms für Hochrisiko-KI-Systeme (äquivalent zum NIST AI Risk Management Framework oder ISO/IEC 42001), die Durchführung jährlicher KI-Folgenabschätzungen für Hochrisiko-KI-Systeme sowie die Benachrichtigung der Verbraucher, wenn ein KI-System einen wesentlichen Faktor bei der Entscheidungsfindung darstellt.

Im Falle einer für den Verbraucher nachteiligen Entscheidung müssten die Betreiber zudem die wesentlichen Gründe dafür angeben und dem betroffenen Verbraucher die Möglichkeit geben, fehlerhafte personenbezogene Daten zu korrigieren, die bei der Entscheidungsfindung verwendet wurden. Unter bestimmten Umständen können Betreiber Verträge mit Entwicklern abschließen, sodass Letztere einige dieser Compliance-Anforderungen übernehmen.

Nächste Schritte

Sollte der Gesetzesentwurf verabschiedet werden, würde er am 1. Januar 2027 in Kraft treten. Obwohl sich der AICPA noch in einem frühen Stadium des Gesetzgebungsprozesses befindet, ist er voraussichtlich nur der erste in einer Reihe von Gesetzesentwürfen im Bereich der KI, die der Bundesstaat New York prüfen wird.

‍Enzai ist hier, um zu helfen

Die KI-GRC-Plattform von Enzai unterstützt Ihr Unternehmen dabei, KI in Übereinstimmung mit Best Practices und neuen Vorschriften, Standards und Frameworks wie dem EU AI Act, dem Colorado AI Act, dem NIST AI RMF und ISO/IEC 42001 einzusetzen. Um mehr zu erfahren, kontaktieren Sie uns hier.

Enzai ist die führende Plattform für KI-Governance in Unternehmen und wurde speziell entwickelt, um Organisationen beim Übergang von abstrakten Richtlinien zur operativen Aufsicht zu unterstützen. Unsere KI-Risikomanagement-Plattform bietet die spezialisierte Infrastruktur, die für die Verwaltung von agentenbasierter KI-Governance, die Führung eines umfassenden KI-Inventars und die Gewährleistung der Konformität mit dem EU AI Act erforderlich ist. Durch die Automatisierung komplexer Arbeitsabläufe versetzt Enzai Unternehmen in die Lage, die KI-Einführung vertrauensvoll zu skalieren und gleichzeitig die Übereinstimmung mit globalen Standards wie ISO 42001 und NIST zu wahren.