Derivada Direccional

Cálculo multivariable desde primeros principios

Las derivadas parciales solo te dicen la pendiente a lo largo de los ejes coordenados, pero puedes caminar en cualquier dirección. La derivada direccional D_u f responde: si doy un paso en la dirección del vector unitario u, ¿a qué velocidad cambia f? El resultado resulta ser un producto escalar con el gradiente.

Imagina hacer senderismo por esa misma colina, pero en lugar de mirar directamente cuesta arriba, eliges un rumbo de brújula, digamos noreste, y caminas de esa manera. La derivada direccional D_u f es la pendiente que realmente sientes bajo tus botas a lo largo de ese rumbo. Dirígete hacia la dirección más empinada y sentirás la subida completa; gira de lado a lo largo de la ladera y el terreno se siente plano.

Ya que D_u f = ∇f·u = ‖∇f‖‖u‖cos θ = ‖∇f‖cos θ (porque u es un vector unitario), la tasa de cambio es mayor precisamente cuando cos θ = 1, es decir, cuando u apunta en la misma dirección que ∇f. Gira el indicador de dirección a continuación y observa cómo la lectura de pendiente alcanza su punto máximo cuando está alineado con el gradiente y desaparece cuando es perpendicular.

Dónde aparece en el MLEsta es la teoría que justifica el descenso del gradiente. Entre todas las direcciones en las que podrías caminar, −∇L disminuye la pérdida más rápidamente de manera demostrable. Así que si alguna vez te preguntas por qué los pasos de entrenamiento van en dirección al gradiente y no a otra, esta es la respuesta: el gradiente es la mejor opción local, por eso w ← w − η∇L es la actualización…
▶ Derivada Direccional
← El GradienteAproximación Lineal →