Формула суммы по путям — это матричное умножение, расписанное по членам. Когда функции векторнозначны, цепное правило сворачивается в чистое произведение якобианов, и эта форма питает реальные autograd-системы.
Для композиции f ∘ g якобиан целого — якобиан внешнего отображения (в выходе внутреннего) на якобиан внутреннего:
Проверка формы — что делает ясным. Если g: Rⁿ → Rᵏ и f: Rᵏ → Rᵐ, то J_g — k×n, J_f — m×k, их произведение — m×n, ровно форма всего отображения Rⁿ → Rᵐ. Внутренняя размерность k сокращается, как в обычном матричном умножении.
Где это встречается в MLЭто произведение — причина исчезающих и взрывных градиентов в глубоких сетях. Умножьте много якобианов, сингулярные значения которых меньше 1, — произведение сжимается к нулю; больше 1 — взрывается. Остаточные связи, аккуратная инициализация и нормализация существуют, чтобы держать это произведение около здорового масштаба, чтобы градиенты пережили путь назад через много слоёв.