Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
Una pérdida convexa tiene una garantía poderosa: todo mínimo local es global. Eso hace que la optimización sea conceptualmente limpia. Muchos objetivos clásicos del ML son convexos; las redes profundas normalmente no lo son.
Aun así, vale la pena aprender la convexidad porque da el caso de referencia. Te dice cómo se vería la optimización si no hubiera trampas locales, complicaciones de puntos de silla, ni sorpresas severas del paisaje.
Una antena parabólica tiene una única dirección de apuntado limpia cuando la superficie de la señal es suave y tiene un solo pico. El papel de aluminio arrugado tiene muchas pequeñas facetas brillantes que pueden atrapar la luz localmente. La optimización convexa se parece más a la antena; el entrenamiento de una red profunda se parece más al aluminio. La figura de abajo muestra la prueba que define a una curva convexa: desliza los dos extremos y observa que la cuerda recta entre ellos nunca cae por debajo de la curva.