Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
O gradiente descendente comporta-se de forma muito diferente numa superfície de loss redonda e numa esticada. O condicionamento mede esse esticamento. Um mau condicionamento faz o otimizador ziguezaguear: uma direção é acentuada, outra é plana.
Para uma loss quadrática, o condicionamento é controlado pelos valores próprios da Hessiana. O número de condição κ é o rácio entre a maior e a menor curvatura.
Numa máquina de pinball com laterais apertadas e uma saída longa e estreita, uma pancada forte manda a bola a ricochetear de um lado para o outro enquanto só avança devagar. O mau condicionamento faz o mesmo ao gradiente descendente: ricocheteia na direção acentuada e arrasta-se na direção plana. A figura abaixo é exatamente essa máquina. Desliza κ para esticar a tigela, corre a descida, e observa o caminho a ricochetear pela direção estreita enquanto avança pouco a pouco pela longa. (Deixa β em 0 por agora; é a estrela da lição de Momentum.)