Convexidad

Cálculo multivariable desde primeros principios

Algunos problemas de optimización son fáciles y otros difíciles, y una propiedad traza la línea: convexidad. Una función convexa tiene una sola forma en cazo sin falsos mínimos locales, por lo que encontrar un lugar donde el gradiente sea cero significa que has encontrado el mínimo global. Sin sillas ni trampas locales.

La imagen definitoria: una función es convexa si la cuerda recta entre cualquier par de puntos en su gráfica se encuentra encima (o sobre) la gráfica misma. La función nunca se hinchazón por encima de sus propios atajos.

Compara un cuenco de ensalada suave con un cartón de huevos lleno de baches. El cuenco tiene un verdadero fondo: haz rodar una canica desde cualquier lugar y siempre se asienta en el mismo punto bajo. El cartón de huevos está lleno de pequeñas trampas, cada una un falso fondo que atrapa la canica antes de la más baja. Una función convexa es el cuenco de ensalada, y ese único mínimo garantizado es lo que hace que sea fácil de optimizar.

Dónde aparece en el MLLa división convexa/no convexa explica mucho del ML. La regresión lineal y logística son convexas, por lo que el descenso del gradiente demuestra alcanzar el óptimo global y cualquier par de ejecuciones coincide. Las redes profundas son increíblemente no convexas, llenas de puntos críticos, con resultados que cambian con la inicialización y la aleatoriedad. Esa brecha es por qué el ML clásico se…
▶ Convexidad
← Puntos Críticos en RⁿOptimización Constrained →