Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
A paisagem da loss é a forma de L(θ) sobre o espaço de parâmetros. Para redes neurais ela é de alta dimensão e não convexa: tem trechos amplos e planos, trechos fortemente curvados, pontos de sela que sobem em algumas direções enquanto descem em outras, e muitas regiões separadas de baixa loss que muitas vezes acabam sendo conectadas.
Você não consegue visualizar a paisagem real diretamente, mas pode raciocinar sobre a geometria local: gradiente, curvatura, ruído, e como diferentes otimizadores se movem por eles.
Um campo de dunas depois de um vento forte tem trechos amplos e planos, cristas afiadas, e caminhos que parecem nivelados de um lado mas inclinados de outro. Uma paisagem de loss tem o mesmo problema: a forma local depende da direção. Você pode construir a forma mais importante desse tipo na figura abaixo: deslize as duas curvaturas até uma ficar positiva e a outra negativa. Isso é uma sela, nivelada ao longo de uma linha e inclinada ao longo de outra, e é o tipo de ponto estacionário que domina paisagens de alta dimensão.