GPU
Accélérateur matériel spécialisé pour les calculs parallèles, largement utilisé pour entraîner et exécuter efficacement des modèles d'IA à grande échelle.
Définition
Les unités de traitement graphique (GPU) excellent dans les opérations matricielles et tensorielles fondamentales pour l'apprentissage en profondeur. Ils réduisent considérablement les temps de formation et d'inférence, mais consomment beaucoup d'énergie et nécessitent un approvisionnement spécialisé. La gouvernance de l'utilisation des GPU inclut le suivi des coûts, les politiques de planification des tâches, les quotas de partage équitable et la suppression des générations de GPU obsolètes afin d'optimiser les performances par watt.
Exemple concret
Un laboratoire de recherche fournit un cluster GPU dédié aux expériences d'IA. Ils appliquent des quotas de temps par utilisateur, mettent automatiquement hors service les modèles dépassant les limites et suivent les indicateurs d'utilisation des GPU pour justifier les mises à niveau vers des architectures GPU plus économes en énergie.
.svg)
