Limit & Kontinuitas di Rⁿ

Kalkulus multivariabel dari prinsip pertama

Di atas garis, kamu hanya bisa menyelinap ke sebuah titik dari dua sisi, kiri dan kanan. Di bidang dan seterusnya, kamu bisa mendekati titik dari tak hingga banyak arah, sepanjang jalur apa pun yang kamu mau. Kebebasan tambahan itu membuat limit di Rⁿ benar-benar lebih sulit, dan pelajaran ini lebih merupakan peringatan daripada resep.

Sebuah fungsi f memiliki limit L di titik p hanya jika ia menuju L yang sama tidak peduli jalur mana yang kamu ambil. Jika dua jalur berbeda memberi dua jawaban berbeda, limitnya tidak ada.

Anda setuju untuk bertemu teman di sebuah air mancur di tengah alun-alun. Anda dapat berjalan ke arah sana dari pintu masuk utara, gang timur, atau rute diagonal berkelok-kelok di seberang alun-alun, tetapi Anda harus berakhir di air mancur yang sama. Batas dalam Rⁿ menuntut hal ini: fungsi harus mengarah pada satu nilai tidak peduli jalur mana yang Anda ambil. Jika dua pendekatan tidak sependapat mengenai tempat mendaratnya, tidak ada titik pertemuan, dan batasnya tidak ada.

Di mana ini berlaku dalam MLTraining berbasis gradien bekerja karena hampir setiap fungsi dalam deep learning kontinu: dorongan kecil pada bobot menghasilkan perubahan kecil pada loss, sehingga gradien bermakna. Pengecualian terkenal adalah ReLU, max(0, x), kontinu di mana-mana tetapi memiliki lekukan tajam di 0 tempat turunan melompat. Lanskap mulus adalah regularitas yang diandalkan gradient descent, dan saat itu rusak…
▶ Limit & Kontinuitas di Rⁿ
← Fungsi f: Rⁿ → RᵐTurunan Parsial →