Da die US-amerikanische Federal Trade Commission bei der Bekämpfung vermeintlicher Missbräuche von KI an vorderster Front steht, überraschte die Fachwelt für KI-Politik die Ankündigung der FTC vom 25. September nicht, wonach sie gegen mutmaßlich KI-gestützte Täuschung durch fünf Unternehmen vorgegangen sei. Zugleich weist eine dieser Maßnahmen – gegen das generative KI-Unternehmen Rytr – neuartige Elemente auf, wie nachfolgend erläutert.

Überraschender als die Maßnahmen der FTC war die Ankündigung des texanischen Generalstaatsanwalts Ken Paxton vom 18. September, dass er mit Pieces Technologies, einem Anbieter generativer KI für das Gesundheitswesen, eine in dieser Form bislang einzigartige Einigung erzielt habe, wie weiter unten beschrieben.

 Die FTC-Aktion „Operation AI Comply“ und die Beschwerde gegen Rytr

Am 25. September kündigte die US-amerikanische Federal Trade Commission Maßnahmen gegen fünf Unternehmen an, denen vorgeworfen wird, KI eingesetzt zu haben, um „täuschendes oder unlauteres Verhalten, das Kunden schädigt, zu verstärken“. Zwei der Unternehmen – DoNotPay und Rytr – erzielten Einigungen mit der FTC, während die anderen drei Unternehmen gerichtlichen Anordnungen unterliegen und Gerichtsverfahren noch ausstehen. 

Die umstrittenste dieser Maßnahmen richtete sich gegen Rytr, ein Unternehmen, das die Generierung von Kundenbewertungen, Testimonials, Blogbeiträgen, Marketingmaterialien, E-Mails und anderen Textinhalten in bestimmten Tonalitäten (etwa „seriös“ oder „humorvoll“) ermöglicht. Zwei der fünf FTC-Kommissare stimmten gegen die Einleitung der Beschwerde durch die FTC. Mehrere FTC-Beobachter und Kommentatoren bezeichneten das Vorgehen der FTC als beispiellos.

Die Beschwerde der FTC konzentrierte sich auf Verbraucherbewertungen und Testimonials, die nach Ansicht der FTC häufig „bestimmte, oft wesentliche Details enthielten, die in keinem Zusammenhang mit den Eingaben des Nutzers standen“ und daher „falsch und irreführend“ seien. Da die meisten Menschen nicht zwischen von KI generierten Kundenbewertungen und Testimonials und legitimen Beiträgen unterscheiden könnten, könnten Rytrs Dienste nach Auffassung der FTC „den Markt mit einer Flut gefälschter Bewertungen überschwemmen“ und Verbraucher schädigen. Zudem habe Rytr seinen Kunden durch die Bereitstellung dieser Funktion „Mittel und Instrumente zur Begehung irreführender Handlungen und Praktiken“ zur Verfügung gestellt.

Die beiden abweichenden Kommissare argumentierten, dass die Beschwerde der FTC keinen Beleg dafür liefere, dass tatsächlich falsche und irreführende Bewertungen online veröffentlicht worden seien, dass sie eine „dramatische Ausweitung“ der Haftung aufgrund von Mitteln und Instrumenten darstelle, dass sie im Entwurfsprozess die Vorteile für Verbraucher nicht angemessen berücksichtige und dass sie Teil einer verfrühten und aggressiven Vorgehensweise sei, die potenziell „das Recht verbiegen könnte, um KI ins Visier zu nehmen“ und „Innovation zu hemmen“.

Texas und Unternehmen im Gesundheitswesen erzielen Einigung zu irreführenden Angaben

In einer überraschenden Entwicklung gab der texanische Generalstaatsanwalt Ken Paxton am 18. September eine Einigung mit Pieces Technologies bekannt. Pieces ist ein Unternehmen aus dem Gesundheitswesen, das generative KI einsetzt, um medizinische Dokumentationen zu erstellen, häufig auf Grundlage von Patientendaten. Mindestens vier texanische Krankenhäuser nutzen Dienste von Pieces. Das Büro des Generalstaatsanwalts Paxton ließ erkennen, dass Pieces „irreführende Angaben“ über die Genauigkeit seiner Dokumentation gemacht habe. Obwohl Pieces jegliches Fehlverhalten zurückwies und darauf beharrte, dass seine Angaben zur Genauigkeit zutreffend seien, erklärte sich das Unternehmen bereit, weitere Informationen zur Genauigkeit seiner Produkte bereitzustellen und sicherzustellen, dass Krankenhausmitarbeiter, die seine Dienste nutzen, verstehen, in welchem Umfang sie sich auf diese verlassen können oder nicht. Der Vorfall zeigt, dass staatliche Behörden zunehmend bereit sind, gegen mutmaßlich irreführende KI-Aussagen vorzugehen.

Enzai ist für Sie da

Die AI-GRC-Plattform von Enzai kann Ihrem Unternehmen dabei helfen, KI im Einklang mit Best Practices sowie aufkommenden Vorschriften, Standards und Rahmenwerken wie dem EU AI Act, dem Colorado AI Act, dem NIST AI RMF und ISO/IEC 42001 einzusetzen. Um mehr zu erfahren, nehmen Sie hier Kontakt mit uns auf.

Enzai ist die führende Enterprise-KI-Governance-Plattform, die speziell dafür entwickelt wurde, Organisationen dabei zu unterstützen, den Übergang von abstrakten Richtlinien zu operativer Aufsicht zu vollziehen. Unsere KI-Risikomanagement-Plattform bietet die spezialisierte Infrastruktur, die erforderlich ist, um Governance agentischer KI zu steuern, ein umfassendes KI-Inventar zu pflegen und die Einhaltung des EU AI Act sicherzustellen. Durch die Automatisierung komplexer Workflows befähigt Enzai Unternehmen, die Einführung von KI mit Zuversicht zu skalieren und dabei die Ausrichtung an globalen Standards wie ISO 42001 und NIST aufrechtzuerhalten.