Calcul multivariat din principii fundamentale
Colectați fiecare derivată parțială a lui f într-un singur vector și veți obține gradientul, scris ∇f ("grad f"). Fiecare optimizator din învățarea profundă se bazează pe acest singur obiect, deci își câștigă locul în centrul cursului.
Gradientul nu este doar o modalitate de înregistrare a datelor. Ca vector în spațiul de intrare, acesta are o direcție și o lungime, și ambele au semnificație. Direcția este cea de urcare maximă: orientați-vă de-a lungul ∇f și funcția urcă pe cât de repede posibil. Lungimea sa ‖∇f‖ reprezintă exact cât de abruptă este acea urcare.
Imaginați-vă stând pe un deal înierbat în ceață. Gradientul ∇f este săgeata care indică direct în sus spre cea mai abruptă parte a pantei, iar lungimea sa vă spune cât de epuizantă este acea urcare. Puneți o minge jos și dați-i drumul: ea se rostogolește exact în direcția opusă, luând cea mai rapidă cale de coborâre.