GPU
Spezialisierter Hardwarebeschleuniger für parallele Berechnungen, der häufig zum effizienten Trainieren und Ausführen umfangreicher KI-Modelle verwendet wird.
Definition
Grafikprozessoren (GPUs) eignen sich hervorragend für Matrix- und Tensoroperationen, die für Deep Learning von grundlegender Bedeutung sind. Sie reduzieren die Schulungs- und Inferenzzeiten drastisch, verbrauchen jedoch viel Strom und erfordern eine spezielle Bereitstellung. Die Steuerung rund um die GPU-Nutzung umfasst die Kostenüberwachung, Richtlinien zur Auftragsplanung, faire Teilungsquoten und die Außerbetriebnahme veralteter GPU-Generationen, um die Leistung pro Watt zu optimieren.
Real-World Example
Ein Forschungslabor stellt einen speziellen GPU-Cluster für KI-Experimente bereit. Sie setzen Zeitkontingente pro Benutzer durch, nehmen Modelle, die die Grenzwerte überschreiten, automatisch außer Betrieb und verfolgen Kennzahlen zur GPU-Auslastung, um Upgrades auf energieeffizientere GPU-Architekturen zu rechtfertigen.
.svg)
