Taylor Multivariabel

Kalkulus multivariabel dari prinsip pertama

Hampiran linear (Pelajaran 9) hanya menggunakan gradien dan memberi bidang singgung datar. Tambahkan suku berikutnya, yang dibangun dari Hessian, dan Anda dapat hampiran kuadratik: paraboloid yang memeluk permukaan, menangkap kelengkungannya, bukan hanya kemiringannya.

Baca tiga bagian: f(x) adalah tinggi, ∇fᵀδ adalah koreksi linear (kemiringan), dan ½δᵀHδ adalah koreksi kuadratik (kelengkungan). Suku terakhir itu bentuk kuadratik dalam langkah, persis objek yang tandanya dikendalikan oleh eigenvalue Hessian.

Bidang singgung datar yang terletak pada permukaan lengkung ibarat meletakkan kaca objek yang kaku di mata Anda: bidang itu menyentuh di satu tempat tetapi bercelah di tempat lain. Lensa kontak dapat bekerja lebih baik karena melengkung agar sesuai dengan permukaan mata, cocok tidak hanya dengan keberadaan mata tetapi juga bagaimana kelengkungannya. Suku Hessian ½δᵀHδ adalah kelengkungan bawaan tersebut: itu membiarkan perkiraannya memeluk permukaannya alih-alih hanya bersandar padanya.

Di mana ini berlaku dalam MLAlih-alih merangkak menuruni satu langkah gradien kecil pada satu waktu, Anda bisa memasang paraboloid ke loss dan langsung melompat ke dasarnya. Itu metode Newton: minimalkan kuadratik lokal secara tepat, melangkah δ = −H⁻¹∇f, dan konvergen jauh lebih cepat daripada gradient descent biasa saat kelengkungan bervariasi banyak. Adam dan kawan mengejar koreksi kelengkungan yang sama secara murah,…
▶ Taylor Multivariabel
← Optimisasi TerkendalaIntegral Ganda →