Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
O gradiente descendente se comporta de forma muito diferente numa superfície de loss redonda e numa esticada. O condicionamento mede esse alongamento. Um condicionamento ruim faz o otimizador ziguezaguear: uma direção é íngreme, outra é plana.
Para uma loss quadrática, o condicionamento é controlado pelos autovalores da Hessiana. O número de condição κ é a razão entre a maior e a menor curvatura.
Num fliperama com para-choques laterais apertados e uma pista de saída longa e estreita, uma tacada forte manda a bola ricocheteando de um lado para o outro enquanto ela só avança devagar. O condicionamento ruim faz o mesmo com o gradiente descendente: ele ricocheteia na direção íngreme e rasteja na direção plana. A figura abaixo é exatamente essa máquina. Deslize κ para esticar a tigela, rode a descida e observe o caminho ricochetear pela direção estreita enquanto avança aos poucos pela direção longa. (Deixe β em 0 por enquanto; ele é a estrela da lição de Momentum.)