Backpropagation
Ein in neuronalen Netzwerken verwendeter Trainingsalgorithmus, der Gewichtungen anpasst, indem Fehler von der Ausgabeschicht nach hinten übertragen werden, um den Verlust zu minimieren.
Definition
Ein iterativer Optimierungsprozess, bei dem nach einem Vorwärtsdurchlauf die Vorhersagen des Netzwerks berechnet werden, die Differenz zwischen vorhergesagten und wahren Werten (der Verlust) Schicht für Schicht rückwärts weitergegeben wird, um Gradienten zu berechnen. Anhand dieser Gradienten werden Gewichtungsaktualisierungen über einen Gradientenabstieg vorgenommen, sodass tiefe Netzwerke komplexe, hierarchische Merkmalsdarstellungen erlernen können.
Real-World Example
Bei der Bildklassifizierung verwendet ein neuronales Faltungsnetzwerk Backpropagation für Millionen von beschrifteten Fotos: Nach jedem Stapel optimiert es Millionen von Verbindungsgewichten, sodass „Katzen“ -Bilder im richtigen Ausgabeknoten eine höhere Aktivierung und an anderer Stelle eine geringere Aktivierung hervorrufen, sodass die Validierungsdaten allmählich eine Genauigkeit von > 95% erreichen.
.svg)
