Da die US-amerikanische Federal Trade Commission (FTC) seit jeher eine Vorreiterrolle bei der Bekämpfung des vermeintlichen Missbrauchs von KI einnimmt, war die Ankündigung der FTC vom 25. September, Maßnahmen gegen mutmaßlich KI-gestützte Täuschungen durch fünf Unternehmen ergriffen zu haben, für die KI-Gemeinschaft keine Überraschung. Gleichzeitig weist eine dieser Maßnahmen – gegen das generative KI-Unternehmen Rytr – neuartige Elemente auf, wie im Folgenden erörtert wird.

Überraschender als das Vorgehen der FTC war jedoch die Ankündigung des texanischen Generalstaatsanwalts Ken Paxton vom 18. September, dass er einen „bisher einzigartigen“ Vergleich mit Pieces Technologies erzielt habe, einem Anbieter von generativer KI für das Gesundheitswesen, der im Folgenden näher beschrieben wird.

 Die FTC-Initiative „Operation AI Comply“ und die Beschwerde gegen Rytr

Am 25. September kündigte die US-amerikanische Federal Trade Commission Maßnahmen gegen fünf Unternehmen an, denen vorgeworfen wird, KI einzusetzen, um „irreführendes oder unlauteres Verhalten zum Schaden von Kunden massiv zu verstärken“. Zwei der Unternehmen – DoNotPay und Rytr – erzielten Vergleiche mit der FTC, während gegen die anderen drei Unternehmen gerichtliche Anordnungen vorliegen und sie auf ihre Prozesse warten. 

Die umstrittenste dieser Maßnahmen richtete sich gegen Rytr, ein Unternehmen, das die Erstellung von Kundenbewertungen, Erfahrungsberichten, Blog-Beiträgen, Marketingmaterialien, E-Mails und anderen Textinhalten in bestimmten Tonfällen (wie „seriös“ oder „humorvoll“) ermöglicht. Zwei der fünf FTC-Kommissare stimmten gegen die Einreichung der Beschwerde durch die FTC. Mehrere FTC-Beobachter und Kommentatoren bezeichneten die Maßnahme der FTC als beispiellos.

Die Beschwerde der FTC konzentrierte sich auf Kundenbewertungen und Erfahrungsberichte, von denen die FTC behauptete, sie enthielten oft „spezifische, häufig wesentliche Details, die in keinem Verhältnis zu den Eingaben des Nutzers standen“ und seien daher „falsch und irreführend“. Da die meisten Menschen nicht in der Lage wären, zwischen KI-generierten Kundenbewertungen bzw. Erfahrungsberichten und echten zu unterscheiden, könnten die Dienste von Rytr „den Markt mit einer Flut von gefälschten Bewertungen überschwemmen“ und den Verbrauchern schaden, so die FTC. Indem Rytr seinen Kunden diese Möglichkeit bot, stellte das Unternehmen ihnen zudem „Mittel und Instrumente zur Begehung irreführender Handlungen und Praktiken“ zur Verfügung.

Die beiden abweichenden Kommissare argumentierten, dass die Beschwerde der FTC keine Beweise dafür liefere, dass tatsächlich gefälschte und irreführende Bewertungen online gestellt wurden. Zudem stelle sie eine „drastische Ausweitung“ der Haftung für Mittel und Instrumente dar, berücksichtige die Vorteile für die Verbraucher während des Entwurfsprozesses nicht angemessen und sei Teil einer voreiligen und aggressiven Bemühung, die potenziell „das Recht beugen könnte, um KI zu reglementieren“ und „Innovationen hemmen“ könnte.

Texas und KI-Unternehmen im Gesundheitswesen legen Streitfall um irreführende Behauptungen bei

In einer überraschenden Entwicklung kündigte der texanische Generalstaatsanwalt Ken Paxton am 18. September einen Vergleich mit Pieces Technologies an. Pieces ist ein Unternehmen aus dem Gesundheitswesen, das generative KI einsetzt, um medizinische Dokumentationen zu erstellen, die häufig auf Patientendaten basieren. Mindestens vier Krankenhäuser in Texas nutzen die Dienste von Pieces. Das Büro von Generalstaatsanwalt Paxton warf Pieces vor, „irreführende Angaben“ bezüglich der Genauigkeit seiner Dokumentation gemacht zu haben. Obwohl Pieces ein Fehlverhalten bestritt und darauf beharrte, dass seine Angaben zur Genauigkeit korrekt waren, stimmte das Unternehmen zu, weitere Informationen über die Genauigkeit seiner Produkte bereitzustellen und sicherzustellen, dass das Krankenhauspersonal, das seine Dienste nutzt, versteht, in welchem Maße es sich auf diese verlassen kann oder nicht. Dieser Vorfall signalisiert, dass staatliche Behörden zunehmend bereit sind, gegen mutmaßlich irreführende KI-Behauptungen vorzugehen.

Enzai ist hier, um zu helfen

Die KI-GRC-Plattform von Enzai kann Ihrem Unternehmen dabei helfen, KI in Übereinstimmung mit Best Practices und neuen Vorschriften, Standards und Frameworks wie dem EU-KI-Gesetz (EU AI Act), dem Colorado AI Act, dem NIST AI RMF und ISO/IEC 42001 einzusetzen. Um mehr zu erfahren, setzen Sie sich hier mit uns in Verbindung.

Enzai ist die führende Plattform für KI-Governance in Unternehmen, die speziell dafür entwickelt wurde, Organisationen beim Übergang von abstrakten Richtlinien zur operativen Aufsicht zu unterstützen. Unsere KI-Risikomanagement-Plattform bietet die spezialisierte Infrastruktur, die für die Verwaltung der agentischen KI-Governance, die Führung eines umfassenden KI-Inventars und die Gewährleistung der Konformität mit dem EU-KI-Gesetz erforderlich ist. Durch die Automatisierung komplexer Arbeitsabläufe versetzt Enzai Unternehmen in die Lage, die Einführung von KI vertrauensvoll zu skalieren und gleichzeitig die Übereinstimmung mit globalen Standards wie ISO 42001 und NIST zu wahren.