Turunan Arah

Kalkulus multivariabel dari prinsip pertama

Turunan parsial hanya memberi kemiringan sepanjang sumbu koordinat, tetapi kamu bisa berjalan ke arah apa pun. Turunan arah D_u f menjawab: jika aku melangkah sepanjang vektor satuan u, seberapa cepat f berubah? Jawabannya ternyata satu produk dot dengan gradien.

Bayangkan mendaki bukit yang sama, tetapi alih-alih menghadap lurus ke atas, Anda memilih arah kompas, katakanlah timur laut, dan berjalan ke arah sana. Turunan berarah D_u f adalah kemiringan yang sebenarnya Anda rasakan di bawah sepatu bot Anda di sepanjang arah itu. Menuju arah paling curam dan Anda merasakan tanjakan penuh; berbelok ke samping di sepanjang lereng bukit dan tanah terasa datar.

Karena D_u f = ∇f·u = ‖∇f‖‖u‖cos θ = ‖∇f‖cos θ (karena u adalah vektor satuan), laju perubahan paling besar tepat ketika cos θ = 1, yaitu ketika u menunjuk searah dengan ∇f. Putar panah arah di bawah dan lihat pembacaan kemiringan mencapai puncak saat sejajar dengan gradien dan lenyap saat tegak lurus.

Di mana ini berlaku dalam MLInilah teorema yang membenarkan gradient descent. Di antara semua arah yang bisa kamu langkahi, −∇L terbukti menurunkan loss paling cepat. Jadi jika kamu bertanya mengapa training melangkah sepanjang gradien, bukan arah lain, inilah jawabannya: gradien adalah pilihan lokal terbaik, itulah sebabnya w ← w − η∇L menjadi update universal.
▶ Turunan Arah
← GradienHampiran Linear →