Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
A paisagem da loss é a forma de L(θ) sobre o espaço de parâmetros. Para redes neuronais é de alta dimensão e não-convexa: tem largos trechos planos, outros acentuadamente curvos, pontos de sela que sobem nalgumas direções enquanto descem noutras, e muitas regiões separadas de baixa loss que frequentemente acabam por estar ligadas.
Não consegues visualizar a paisagem real diretamente, mas consegues raciocinar sobre a geometria local: gradiente, curvatura, ruído, e como diferentes otimizadores se movem através delas.
Um campo de dunas depois de vento forte tem manchas planas largas, cristas afiadas, e caminhos que parecem nivelados de uma direção mas inclinados de outra. Uma paisagem de loss tem o mesmo problema: a forma local depende da direção. Podes construir a forma mais importante desse tipo na figura abaixo: desliza as duas curvaturas até uma ser positiva e a outra negativa. Isso é uma sela, nivelada ao longo de uma linha e inclinada ao longo de outra, e é o tipo de ponto estacionário que domina as paisagens de alta dimensão.