GPU
大規模AIモデルの効率的なトレーニングと実行に広く使用されている、並列計算専用のハードウェアアクセラレーター。
Definition
グラフィックスプロセッシングユニット (GPU) は、ディープラーニングの基礎となる行列演算とテンソル演算に優れています。トレーニングと推論の時間を大幅に短縮しますが、消費電力は大きく、特別なプロビジョニングが必要になります。GPU 使用に関するガバナンスには、コスト監視、ジョブスケジューリングポリシー、フェアシェアクォータ、ワットあたりのパフォーマンスを最適化するための時代遅れの GPU 世代の廃止などが含まれます。
Real-World Example
ある研究所が AI 実験専用のGPUクラスターを用意しています。ユーザーごとの時間割り当てを適用し、制限を超えて稼働しているモデルを自動的に廃止し、GPU 使用率メトリクスを追跡して、よりエネルギー効率の高い GPU アーキテクチャへのアップグレードを正当化します。
.svg)
