Diferenciabilidad

Cálculo de una variable desde primeros principios

Una función es diferenciable en un punto si tiene una pendiente única y bien definida allí: una sola línea tangente, sin ambigüedad. La mayoría de las curvas suaves son diferenciables en todas partes. Pero algunas funciones, aunque perfectamente continuas, tienen un lugar donde la pendiente simplemente no puede ser determinada. Entender dónde los derivados fallan es tan importante como calcularlos.

Si una función tiene una pendiente en un punto, no puede tener un salto allí, por lo que diferenciable ⇒ continua. El inverso es falso: una función puede ser continua (trazable sin levantar el bolígrafo) y aún así no tener una pendiente en un punto. La brecha entre "continua" y "diferenciable" es exactamente lo interesante.

El valor absoluto |x| es el ejemplo estándar. Es continua en todas partes, sin interrupción en 0. Pero justo en la esquina, la pendiente que viene desde la izquierda es −1 y la pendiente que sale hacia la derecha es +1. Dos pendientes diferentes se encuentran en un punto agudo, por lo que no hay una sola tangente. La derivada no existe en x = 0.

Dónde aparece en el MLReLU, la activación más común, literalmente max(0, x): una esquina en 0, justo como |x|. Su derivada no está definida justo en 0, por lo que los marcos simplemente seleccionan un valor (generalmente 0), llamado "subgradiente". Las esquinas de ReLU, las arrugas de la regularización L1 y la falta de suavidad del error cuadrático hinge son todos lugares donde este problema exacto aparece y se maneja…
▶ Diferenciabilidad
← La DerivadaReglas básicas de derivadas →