Reglas del Producto y Cociente

Cálculo de una variable desde primeros principios

Cuando dos funciones están multiplicadas entre sí, no puedes simplemente multiplicar sus derivadas. Es una tentación atractiva, pero incorrecta. La regla correcta tiene en cuenta el hecho de que ambas factores están cambiando al mismo tiempo.

Imagina un rectángulo cuyo ancho es f y altura es g; su área es f·g. Si ambos lados crecen un poco, el área crece en dos frentes: una franja del ancho más amplio, más otra franja del alto más largo. Eso es por qué la respuesta tiene dos términos, no uno.

Imagina un jardín rectangular cuya anchura y altura se están ampliando ambas a la vez. La nueva área no es solo una tira, ganas una tira a lo largo de la anchura más larga y una tira a lo largo de la altura más alta. Por eso la regla del producto tiene dos términos: cuando dos cantidades cambiantes se multiplican, el crecimiento de cada una aporta su propia porción al total.

Dónde aparece en el MLEstas reglas son los bloques de construcción que autograd compone. Una puntuación normalizada como una probabilidad softmax o un peso de atención es un cociente (algo sobre una suma), y diferenciarlo usa la regla del cociente bajo el capó. La normalización por lotes, la división por desviación estándar en la normalización de capa: dondequiera que una red divide una cantidad aprendida por otra, es…
▶ Reglas del Producto y Cociente
← Reglas básicas de derivadasRegla de la Cadena →