Multivariate calculus from first principles
f'in her kısmi türevini tek bir vektörde topla ve gradyanı elde et, ∇f ("grad f") olarak yazılır. Derin öğrenmedeki her optimize edici bu tek nesne üzerinde çalışır, bu yüzden dersin merkezindeki yerini hak eder.
Gradyan sadece bir defter tutma işi değildir. Girdi uzayında bir vektör olarak bir yönü ve bir uzunluğu vardır ve her ikisi de anlam taşır. Yön, en dik tırmanış yönüdür: kendini ∇f boyunca yönlendir ve fonksiyon olabildiğince hızlı tırmansın. Uzunluğu ‖∇f‖ ise tam olarak o tırmanışın ne kadar dik olduğudur.
Kendinizi sisli çimenli bir tepede dururken hayal edin. Gradyan ∇f, eğimin en dik kısmını doğrudan yukarı gösteren oktur ve uzunluğu size o tırmanışın ne kadar zorlu olduğunu söyler. Bir topu yere koyun ve bırakın: en hızlı yolu aşağı seçerek tam tersi yönde yuvarlanır.