Convexidad

Cálculo de una variable desde primeros principios

La convexidad es la forma que hace que la optimización sea fácil. Una función convexa se curva hacia arriba en todas partes, como una taza, y esa propiedad única la hace fácil de minimizar: hay exactamente un punto más bajo, y cualquier camino descendente lleva directamente a él.

Hay tres formas equivalentes de ver la convexidad. Primero, la segunda derivada es no negativa en todas partes: f″(x) ≥ 0. Segundo, la curva se curva hacia arriba y nunca se dobla hacia abajo. Tercero, el dibujo definitorio, una cuerda entre cualquier par de puntos está por encima de la curva.

Imagina un valle liso, o el interior de un cuenco, y suelta una canica en cualquier lugar a lo largo del mismo. No importa dónde empiece, la canica siempre rueda hacia abajo hasta el único punto más bajo y se asienta ahí. Eso es exactamente lo que la convexidad te ofrece: un valle, sin falsos fondos, por lo que cualquier camino cuesta abajo lleva al único y verdadero mínimo.

Dónde aparece en el MLLa convexidad es la línea divisoria en ML. Regresión lineal/logística y SVMs tienen pérdidas convexas: un único mínimo global, el entrenamiento es confiable y reproducible. Redes profundas tienen pérdidas increíblemente no convexas con innumerables mínimos locales y sillas, por eso diferentes inicializaciones aleatorias terminan en soluciones diferentes, por qué la tasa de aprendizaje importa…
▶ Convexidad
← Prueba de la Segunda DerivadaVista previa del Descenso del Gradiente →