Частные производные — Математический анализ II

Одна идея несёт большую часть многомерного исчисления: чтобы дифференцировать функцию многих переменных, меняйте только одну переменную, а остальные заморозьте. Держите y неподвижно, шевелите x и спрашивайте, как f откликается. Эта скорость изменения — частная производная ∂f/∂x.

Кудрявый ∂ («частный») — единственная новая нотация. Всё остальное — дифференцирование из Курса I (правило степени, произведения, цепное), применённое так, будто замороженные переменные — просто константы.

Встаньте на склоне холма, и уклон, который вы почувствуете, будет зависеть от того, в какую сторону вы смотрите. Идите строго на восток, удерживая свою позицию север-юг фиксированной, и крутизна под ногами — это частная производная ∂f/∂x. Повернитесь и идите строго на север, удерживая позицию восток-запад фиксированной, и вы почувствуете другой уклон, ∂f/∂y. Каждая частная производная замораживает одно направление и сообщает о подъеме или падении вдоль другого.

Где это встречается в MLПредставьте, что заморозили все веса сети, кроме одного, и спрашиваете, как потеря сдвинется при толчке этого веса. Ответ — частная производная ∂L/∂wᵢ: знак говорит, куда толкнуть вес, чтобы снизить потерю, размер — насколько потеря к нему чувствительна. Соберите по одной частной на вес — и получите градиент, который следующие уроки соберут.