Aturan Produk & Hasil Bagi

Kalkulus satu variabel dari prinsip pertama

Ketika dua fungsi dikalikan, kamu tidak bisa sekadar mengalikan turunannya. Itu jalan pintas yang menggoda, dan salah. Aturan yang benar memperhitungkan bahwa kedua faktor berubah sekaligus.

Bayangkan sebuah persegi panjang dengan lebar f dan tinggi g; luasnya adalah f·g. Jika kedua sisi bertambah sedikit, luas bertambah di dua sisi: satu strip dari lebar yang bertambah, ditambah satu strip dari tinggi yang bertambah. Itulah sebabnya jawabannya punya dua suku, bukan satu.

Bayangkan sebuah kebun berbentuk persegi panjang yang lebar dan tingginya keduanya sedang diperluas sekaligus. Area yang baru bukan hanya satu potongan, Anda mendapatkan potongan di sepanjang lebar yang lebih panjang dan sepotong di sepanjang tinggi yang lebih menjulang. Itulah mengapa aturan hasil kali memiliki dua suku: ketika dua besaran yang berubah dikalikan, pertumbuhan masing-masing memberikan irisannya sendiri ke jumlah total.

Di mana ini berlaku dalam MLAturan-aturan ini adalah blok bangunan yang dikomposisikan autograd. Skor ternormalisasi seperti probabilitas softmax atau bobot attention adalah hasil bagi (sesuatu di atas jumlah), dan menurunkannya memakai aturan hasil bagi di balik layar. Scaling batch-norm, pembagian layer-norm oleh standar deviasi: di mana pun jaringan membagi satu kuantitas yang dipelajari dengan kuantitas lain, aturan…
▶ Aturan Produk & Hasil Bagi
← Aturan Dasar TurunanAturan Rantai →