Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
Los métodos de primer orden usan gradientes. Los métodos de segundo orden también usan la curvatura, normalmente a través del Hessiano. La curvatura le dice al optimizador cómo cambia el propio gradiente a medida que se mueven los parámetros.
El método de Newton usa esa curvatura para elegir un paso que puede saltar directamente al mínimo de una cuadrática. El precio es que los Hessianos son enormes en las redes neuronales modernas.
Un operador de grúa usa una tabla de carga porque la dirección no basta. La carga también dobla la pluma, y esa flexión cambia qué movimiento es seguro. La optimización de segundo orden lee la flexión, no solo el tirón, antes de decidir cuánto moverse. En la figura haces de operador: desliza las dos curvaturas y observa cómo la superficie se convierte en un cuenco, una cúpula o una silla. Los valores propios del Hessiano son exactamente esas dos perillas.