Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Il paesaggio della loss è la forma di L(θ) sullo spazio dei parametri. Per le reti neurali è ad alta dimensionalità e non convesso: ha ampi tratti piatti, tratti fortemente curvi, punti di sella che salgono in alcune direzioni mentre scendono in altre, e molte regioni separate a bassa loss che spesso risultano collegate.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Il Paesaggio della Loss