Частни производни

Многопроменливо смятане от първи принципи

Една идея е в основата на по-голямата част от смятането с много променливи: за да диференцирате функция на много променливи, променяйте само по една променлива в даден момент, а всички останали замразете. Задръжте y неподвижно, променете леко x и проверете как реагира f. Тази скорост на промяна се нарича частна производна ∂f/∂x.

Заобленото ∂ („частно“) е единствената нова нотация. Всичко останало е диференциране от Смятане 1 (правило за степента, правило за произведението, верижно правило), приложено така, сякаш замразените променливи са просто константи.

Застанете на склон на хълм и наклонът, който усещате, зависи от това накъде сте обърнати. Вървете право на изток, запазвайки позицията си север-юг фиксирана, и стръмността под краката ви е частната производна ∂f/∂x. Обърнете се и вървете право на север вместо това, запазвайки изток-запад фиксирано, и ще усетите различен наклон, ∂f/∂y. Всяка частна производна замразява една посока и отчита изкачването или спускането по другата.

Къде се използва това в MLПредставете си, че замразявате всички тегла в мрежата с изключение на едно, след което проверявате как се променя загубата, когато промените леко това единствено тегло. Отговорът е частната производна ∂L/∂wᵢ: нейният знак ви казва в каква посока да промените теглото, за да намалите загубата, а нейната големина ви казва колко чувствителна е загубата към него. Съберете частните производни за всяко…
▶ Частни производни
← Граници и непрекъснатост в RⁿЧастни производни от по-висок ред →