Aplikasi

Kalkulus satu variabel dari prinsip pertama

Manfaat nyata Taylor dalam ML adalah linearisasi: mengganti fungsi nonlinear yang keras kepala dengan garis singgungnya di dekat titik yang menarik. Pada rentang kecil, aproksimasi linear hampir persis, dan hal-hal linear jauh lebih mudah dianalisis, dihitung, dan dipikirkan.

Sigmoid σ(x) = 1/(1 + e⁻ˣ) adalah nonlinearitas pemampat yang familiar. Di dekat x = 0, ia melewati ½ dengan kemiringan ¼, sehingga aproksimasi linearnya adalah:

Peta jalan kertas datar memperlakukan Bumi yang bulat sebagai bidang di dekat satu kota. Pada jarak beberapa kilometer, kelengkungan tersebut terlalu kecil untuk menjadi masalah, sehingga lembaran datar itu sudah cukup akurat untuk digunakan bernavigasi, meskipun planet ini sebenarnya adalah sebuah bola. Linearisasi melakukan hal yang sama pada sebuah fungsi: di dekat suatu titik, ia menukar kurva sebenarnya dengan garis singgung f(x) ≈ f(0) + f′(0)·x, cukup akurat secara lokal dan jauh lebih mudah untuk dikerjakan.

Di mana ini berlaku dalam MLLinearisasi adalah refleks inti ML. Aproksimasi sudut kecil dan input kecil menyederhanakan analisis aktivasi (sigmoid, GELU, softmax) di dekat titik operasinya. Melinearkan jaringan di sekitar bobot saat ini memberi pandangan neural tangent kernel dan mendasari cara kita menalar tentang dinamika training. Dan setiap optimizer orde pertama pada dasarnya mempercayai model linear lokal dari loss…
▶ Aplikasi
← Deret Taylor PentingVektor di Rⁿ →