Ekspektasi

Matematika ketidakpastian

Ekspektasi variabel acak adalah rata-rata jangka-panjangnya: nilai yang akan Anda konvergen jika mengulang eksperimen selamanya dan merata-rata hasilnya. Ini rata-rata tertimbang nilai mungkin, masing-masing ditimbang oleh seberapa mungkin:

Bayangkan PMF sebagai set bobot ditempatkan sepanjang penggaris; E[X] adalah titik keseimbangan. Tidak harus nilai yang X bisa ambil. Dadu adil rata-rata 3.5, yang tidak ada di sisi mana pun.

Bayangkan sebuah mesin slot yang Anda beri makan ribuan kali. Pada tarikan tunggal mana pun Anda mungkin menang besar atau kehilangan koin Anda, tetapi mesin tersebut memiliki rata-rata pembayaran jangka panjang yang tetap per permainan, dan angka itu adalah E[X]. Itu adalah nilai stabil yang secara perlahan didekati oleh rata-rata Anda saat permainan menumpuk, meskipun tidak ada putaran tunggal yang pernah mendarat tepat padanya.

Di mana ini berlaku dalam MLPelatihan meminimalkan loss ekspektasi E_D[L(θ)], rata-rata loss atas distribusi data. Kita tidak bisa menghitung ekspektasi itu tepat, jadi kita aproksimasi dengan rata-rata atas sampel terbatas (set pelatihan), dan atas mini-batch untuk setiap langkah gradien. Linearitas ekspektasi mengapa rata-rata gradien atas batch adalah estimasi tak-bias dari gradien sejati.
▶ Ekspektasi
← Variabel AcakVarians →