Hampiran Linear

Kalkulus multivariabel dari prinsip pertama

Dari dekat, setiap permukaan halus terlihat datar, seperti Bumi terasa datar di bawah kaki Anda. Hampiran linear menggantikan fungsi melengkung dekat suatu titik dengan bidang singgung datar yang baru menyentuhnya di sana. Gradien menyediakan kemiringan bidang itu.

Baca dengan kata-kata: nilai baru ≈ nilai lama, plus gradien didot dengan langkah yang Anda ambil. Hasil kali titik itu adalah turunan arah dikali panjang langkah, tebakan linear terbaik untuk seberapa banyak f bergerak.

Tekan stiker datar kecil pada bola pantai dan, tepat di tempatnya, bola melengkung itu tampak sangat datar. Perkiraan linier adalah stiker itu: bidang singgung datar yang menyentuh permukaan di satu titik dan menggantikan kurva di dekatnya. Berjalan terlalu jauh di atas bola dan stiker itu terkelupas dari permukaan — prediksinya meleset.

Di mana ini berlaku dalam MLSatu langkah gradient-descent adalah hampiran linear beraksi. Memperbarui w ← w − η∇L mengasumsikan perubahan loss terprediksi baik oleh suku linear ∇L·δ. Saat langkah terlalu besar, kelengkungan yang Anda abaikan (suku ‖δ‖²) membalas dan loss bisa overshoot atau divergen. Learning rate η menjaga Anda di wilayah tempat memperlakukan permukaan sebagai datar cukup benar.
▶ Hampiran Linear
← Turunan ArahJacobian →