Suche nach neuronaler Architektur
Automatisierte Methoden für den Entwurf und die Optimierung neuronaler Netzwerkstrukturen, um die Modellleistung zu verbessern und gleichzeitig Komplexität und Ressourcenbeschränkungen auszugleichen.
Definition
Nutzt Suchalgorithmen (Reinforcement Learning, Evolutionsstrategien, Bayessche Optimierung), um Millionen möglicher Schichttypen, -größen und -verbindungen zu untersuchen und Architekturen zu entdecken, die manuell entworfene Modelle übertreffen. Die Unternehmensleitung muss die Rechenbudgets kontrollieren, die Reproduzierbarkeit der erkannten Architekturen überwachen, Fairness- und Effizienzbeschränkungen durchsetzen und überprüfen, ob NAS-generierte Modelle die Anforderungen an Interpretierbarkeit und Bereitstellung erfüllen.
Real-World Example
Ein Vision-AI-Team verwendet NAS, um ein optimiertes CNN für die Defekterkennung an der Montagelinie zu finden. Nach einer Suche mit 1.000 Versuchen, die durch ein FLOP-Budget begrenzt sind, ergibt das NAS eine schlanke Architektur, die eine um 1% höhere Genauigkeit und 30% weniger Parameter als im Ausgangswert erreicht. Das Team protokolliert die NAS-Konfiguration und das endgültige Modell aus Gründen der Reproduzierbarkeit in seiner Registrierung.
.svg)
