Обчислення багатьох змінних із перших принципів
Зібравши всі часткові похідні f в один вектор, ви отримуєте градієнт, позначений ∇f («град f»). Кожен оптимізатор у глибокому навчанні працює на цьому об’єкті, тому він заслуговує на центральне місце в курсі.
Градієнт — не просто бухгалтерія. Як вектор у вхідному просторі, він має напрямок і довжину, і обидва несуть зміст. Напрямок — це напрямок найкрутішого підйому: спрямуйте себе вздовж ∇f, і функція зростає так швидко, як тільки може. Його довжина ‖∇f‖ — саме крутість того підйому.
Уявіть, що ви стоїте на трав’яному схилі в тумані. Градієнт ∇f — стрілка, що вказує прямо вгору по найкрутішій частині схилу, а його довжина каже, наскільки болісний цей підйом. Поставте кульку і відпустіть: вона скочиться в точно протилежний напрямок, обираючи найшвидший шлях униз.