Cómo aprenden realmente los modelos, del descenso por gradiente básico a Adam
El paisaje de pérdida es la forma de L(θ) sobre el espacio de parámetros. Para las redes neuronales es de alta dimensión y no convexo: tiene amplios tramos planos, otros con curvatura pronunciada, puntos de silla que suben en algunas direcciones mientras bajan en otras, y muchas regiones de baja pérdida separadas que a menudo resultan estar conectadas.
No puedes visualizar el paisaje real directamente, pero puedes razonar sobre la geometría local: el gradiente, la curvatura, el ruido, y cómo distintos optimizadores se mueven a través de ellos.
Un campo de dunas después de un viento fuerte tiene amplios parches planos, crestas afiladas, y caminos que parecen a nivel desde una dirección pero inclinados desde otra. Un paisaje de pérdida tiene el mismo problema: la forma local depende de la dirección. Puedes construir la forma más importante de todas en la figura de abajo: desliza las dos curvaturas hasta que una sea positiva y la otra negativa. Eso es una silla, a nivel a lo largo de una línea e inclinada a lo largo de otra, y es el tipo de punto estacionario que domina los paisajes de alta dimensión.