Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
El descenso del gradiente se comporta de forma muy distinta sobre una superficie de pérdida redondeada y sobre una alargada. El condicionamiento mide ese alargamiento. Un condicionamiento pobre hace que el optimizador zigzaguee: una dirección es empinada, otra es plana.
Para una pérdida cuadrática, el condicionamiento está controlado por los valores propios del Hessiano. El número de condición κ es la razón entre la mayor y la menor curvatura.
En una máquina de pinball con parachoques laterales ajustados y un carril de salida largo y angosto, un golpe fuerte hace que la bola rebote de lado a lado mientras avanza muy lentamente hacia adelante. Un condicionamiento pobre le hace lo mismo al descenso del gradiente: rebota en la dirección empinada y avanza a paso de tortuga en la plana. La figura de abajo es exactamente esa máquina. Desliza κ para alargar el cuenco, ejecuta el descenso y observa cómo la trayectoria rebota a través de la dirección angosta mientras avanza poco a poco a lo largo de la dirección larga. (Deja β en 0 por ahora; será la protagonista de la lección sobre el Impulso.)