大規模言語モデル

テキスト生成、翻訳、要約などのタスクを実行できる膨大なテキストコーパスでトレーニングされたディープラーニングモデル。多くの場合、偏見や誤用に対するガバナンスが必要です。

Definition

さまざまなインターネット規模のデータで事前にトレーニングされた、数億から数兆のパラメーターを備えたトランスフォーマーベースのアーキテクチャ(GPT、BERTなど)。短時間学習には優れていますが、社会的偏見を広めたり、有害なコンテンツを生成したりする可能性があります。ガバナンスには、誤用を減らすために、偏見監査、使用状況の監視、コンテンツフィルタリングのほか、許可するプロンプトと禁止するプロンプトの明確なポリシーを含める必要があります。

Real-World Example

マーケティングチームは、GPTスタイルのモデルを使用して広告コピーを作成します。導入前に、生成されたテキスト(性別の言葉など)のバイアスチェック、冒涜的表現のフィルターの適用、機密データの漏洩防止のための使用制限の実施などを行い、モデルが評判や法的リスクを招くことなく創造性を高められるようにします。