Fungsi f: Rⁿ → R

Kalkulus multivariabel dari prinsip pertama

Sebuah fungsi f: Rⁿ → R mengambil vektor sebagai input dan mengembalikan satu angka. Contoh yang menggerakkan machine learning adalah loss: masukkan setiap bobot jaringan, keluarlah satu angka yang mengatakan seberapa buruk kinerjanya. Seluruh training adalah perburuan titik terendah fungsi ini.

Untuk dua input kamu benar-benar bisa membayangkannya: z = f(x, y) adalah permukaan, lanskap bukit dan lembah yang mengambang di atas bidang xy. Tinggi pada setiap (x, y) adalah nilai fungsi.

Bayangkan udara di dalam ruangan: berdirilah di titik mana pun dan termometer membaca tepat satu suhu. Itu adalah fungsi f: R² → R yang tersembunyi: posisi (x, y) masuk, dan satu angka (kehangatan di sana) keluar. Seluruh ruangan menjadi lanskap area hangat dan sejuk, lebih tinggi di dekat radiator, lebih rendah di dekat jendela.

Di mana ini berlaku dalam MLKetika kamu melihat kurva loss turun selama training, kamu sedang melihat perjalanan melintasi salah satu permukaan ini. Loss L(w₁, …, wₙ) adalah fungsi Rⁿ → R di ruang bobot, dengan n dalam jutaan atau miliaran, dan kurva di layarmu hanyalah bayangan satu dimensi dari perjalanan itu. Gambar 'flat vs. sharp minima' yang diperdebatkan peneliti secara harfiah adalah plot kontur dan permukaan dari f…
▶ Fungsi f: Rⁿ → R
← Vektor & Geometri RⁿFungsi f: Rⁿ → Rᵐ →