米国連邦取引委員会（FTC）は、AIの悪用とみなされる行為への対策の最前線に立ってきたため、AI政策コミュニティにとって、FTCが9月25日に5社によるAIを悪用した不正行為とされる疑いに対して措置を講じたと発表したことは驚きではありませんでした。同時に、これらの措置の一つである、ジェネレーティブAI企業Rytrに対する措置には、以下で説明するように、これまでにない新たな要素が含まれています。

FTCの措置よりも驚きだったのは、テキサス州のケン・パクストン司法長官が9月18日に、医療向けジェネレーティブAIプロバイダーであるPieces Technologies社と「この種としては初」となる和解に達したと発表したことです。これについては後述します。

 FTCの「オペレーションAIコンプライ」とRytrに対する申し立て

9月25日、米国連邦取引委員会は、AIを利用して「顧客に害を与える欺瞞的または不公正な行為を激化させた」疑いがあるとして、5社に対する措置を発表しました。このうちDoNotPayとRytrの2社はFTCと和解に至りましたが、他の3社は裁判所の命令に従い、公判を待っている状態です。 

これらの措置の中で最も議論を呼んだのは、特定のトーン（「厳粛」や「ユーモラス」など）で顧客レビュー、推奨文、ブログ記事、マーケティング資料、電子メール、その他のテキストコンテンツの生成を可能にする企業であるRytrに対するものでした。5人のFTC委員のうち2人が、FTCによる訴状の交付に反対票を投じました。複数のFTC監視団やコメンテーターは、FTCの今回の措置を前例のないものと表現しています。

FTCの申し立ては、顧客レビューや推奨文に焦点を当てており、FTCはこれらの中に「ユーザーの入力とは無関係な、具体的で、しばしば重要な詳細」が含まれていることが多く、そのため「虚偽であり、欺瞞的」であると指摘しました。ほとんどの人は、AIが生成した顧客レビューや推奨文と、合法的なものとを区別できないため、Rytrのサービスは「市場を偽のレビューの氾濫で汚染し」、消費者に害を及ぼす可能性があるとFTCは主張しています。さらに、この機能を顧客に提供することにより、Rytrは顧客に対し「欺瞞的な行為や慣行を行うための手段および道具」を提供したことになります。

反対票を投じた2人の委員は、FTCの申し立ては、虚偽で欺瞞的なレビューが実際にオンラインに投稿されたという証拠を示していないこと、これが手段・道具の責任の「劇的な拡張」を意味すること、起草プロセスにおいて消費者への利益が適切に考慮されていなかったこと、そして「AIを取り締まるために法律を歪め」、「イノベーションを阻害する」可能性のある、時期尚早かつ強引な取り組みの一環であると主張しました。

テキサス州と医療AI企業が欺瞞的クレーム問題で和解

驚くべき進展として、テキサス州のケン・パクストン司法長官は9月18日、Pieces Technologies社との和解を発表しました。Piecesは、主に患者データに基づいて医療文書を作成するためにジェネレーティブAIを使用するヘルスケア企業です。テキサス州の少なくとも4つの病院がPiecesのサービスを利用しています。パクストン司法長官の事務所は、Piecesが自社文書の正確性について「欺瞞的な主張」を行ったと指摘しました。Piecesは不正行為を否定し、正確性に関する自社の主張は正しいと主張したものの、製品の正確性に関する追加情報を提供し、同社のサービスを利用する病院のスタッフが、そのサービスにどの程度依存できるか（またはできないか）を確実に理解できるようにすることに同意しました。この出来事は、州当局が欺瞞的とされるAIの主張に対して、ますます積極的に行動を起こす姿勢を示していることを物語っています。

Enzaiがサポートいたします

EnzaiのAI GRCプラットフォームは、EU AI法、コロラド州AI法、NIST AI RMF、ISO/IEC 42001などのベストプラクティスや新たな規制、標準、フレームワークに準拠したAIの導入を支援します。詳細については、こちらからお問い合わせください。

Enzaiは、組織が抽象的なポリシーから運用の監視へと移行できるよう特別に構築された、主要なエンタープライズAIガバナンスプラットフォームです。当社のAIリスク管理プラットフォームは、エージェンティックAIガバナンスを管理し、包括的なAIインベントリを維持し、EU AI法への準拠を確実にするために必要な専用のインフラストラクチャを提供します。複雑なワークフローを自動化することで、Enzaiは企業が自信を持ってAIの導入を拡大できるよう支援すると同時に、ISO 42001やNISTなどのグローバルスタンダードとの整合性を維持します。