Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
Os métodos de primeira ordem usam gradientes. Os métodos de segunda ordem também usam curvatura, geralmente por meio da Hessiana. A curvatura diz ao otimizador como o próprio gradiente muda à medida que os parâmetros se movem.
O método de Newton usa essa curvatura para escolher um passo que pode saltar diretamente para o mínimo de uma quadrática. O preço é que as Hessianas são enormes em redes neurais modernas.
Um operador de guindaste usa uma tabela de carga porque a direção não é suficiente. A carga também dobra a lança, e essa dobra muda qual movimento é seguro. A otimização de segunda ordem lê a dobra, não só o puxão, antes de decidir até onde se mover. Na figura você faz o papel do operador: deslize as duas curvaturas e observe a superfície virar uma tigela, uma cúpula, ou uma sela. Os autovalores da Hessiana são exatamente esses dois botões.