Regla de la Cadena

Cálculo de una variable desde primeros principios

La regla de la cadena es la regla sobre la cual se construye la retropropagación. Te dice cómo diferenciar una composición: una función dentro de otra, como f(g(x)).

Para diferenciar "el exterior del interior," toma la derivada externa (dejando el interior intacto), luego multiplica por la derivada interna. Las tasas de cambio se multiplican a lo largo de la cadena.

Piensa en ello como una línea de producción: x → g → f. Un pequeño cambio en x se amplifica por g′, luego ese cambio se amplifica nuevamente por f′. La amplificación total es el producto de los dos. La figura rastrea las derivadas multiplicándose a lo largo de la composición.

Dónde aparece en el MLLa retropropagación es la regla de la cadena ejecutada en sentido inverso a través de una red. Una red profunda es una gran composición (capa tras capa), y el gradiente de la pérdida con respecto a un peso temprano es un producto de derivadas locales, uno por capa, multiplicado a lo largo del camino. Esto es por qué ocurren los "gradientes que se desvanecen": multiplicas muchas pequeñas derivadas…
▶ Regla de la Cadena
← Reglas del Producto y CocienteDiferenciación Implícita →