Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Il paesaggio della loss è la forma di L(θ) sullo spazio dei parametri. Per le reti neurali è ad alta dimensionalità e non convesso: ha ampi tratti piatti, tratti fortemente curvi, punti di sella che salgono in alcune direzioni mentre scendono in altre, e molte regioni separate a bassa loss che spesso risultano collegate.
Non puoi visualizzare direttamente il vero paesaggio, ma puoi ragionare sulla geometria locale: gradiente, curvatura, rumore, e come i diversi ottimizzatori vi si muovono attraverso.
Un campo di dune dopo un forte vento ha ampie zone piatte, creste affilate, e percorsi che sembrano in piano da una direzione ma in pendenza da un'altra. Un paesaggio di loss ha lo stesso problema: la forma locale dipende dalla direzione. Puoi costruire la forma più importante di questo tipo nella figura qui sotto: sposta le due curvature finché una è positiva e l'altra negativa. Quella è una sella, in piano lungo una retta e in pendenza lungo un'altra, ed è il tipo di punto stazionario che domina i paesaggi ad alta dimensionalità.