Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
Os métodos de primeira ordem usam gradientes. Os métodos de segunda ordem também usam a curvatura, normalmente através da Hessiana. A curvatura diz ao otimizador como o próprio gradiente muda à medida que os parâmetros se movem.
O método de Newton usa essa curvatura para escolher um passo que pode saltar diretamente para o mínimo de uma quadrática. O preço é que as Hessianas são enormes em redes neuronais modernas.
Um operador de grua usa uma tabela de carga porque a direção não basta. A carga também dobra a lança, e essa flexão muda que movimento é seguro. A otimização de segunda ordem lê a flexão, não apenas o puxão, antes de decidir quão longe se mover. Na figura fazes o papel do operador: desliza as duas curvaturas e observa a superfície tornar-se uma tigela, uma cúpula, ou uma sela. Os valores próprios da Hessiana são exatamente esses dois botões.