Estimasi Bayesian

Inferensi, estimasi, dan pengambilan keputusan dari data

MLE bertanya "θ tunggal mana yang paling baik menjelaskan data?" Estimasi Bayesian bertanya pertanyaan lebih kaya: "diberikan data, apa keyakinan penuh saya tentang θ?" Alih-alih satu angka, Anda dapat seluruh distribusi, dan Anda bisa melipat apa yang Anda tahu sebelumnya.

Tiga bahan. Prior p(θ) adalah keyakinan Anda sebelum melihat data. Likelihood p(x|θ) adalah seberapa baik setiap θ menjelaskan data (objek sama seperti di MLE). Aturan Bayes menggabungkan mereka menjadi posterior p(θ|x):

Baca sebagai: keyakinan posterior = seberapa baik θ menjelaskan data, ditimbang oleh seberapa masuk akal θ dari awal. Lebih banyak data membuat likelihood mendominasi dan menghapus prior.

Di mana ini berlaku dalam MLRegularisasi adalah ide ini dalam penggunaan sehari-hari. Menambah penalti L2 λ‖β‖² ke loss persis estimasi MAP dengan prior Gaussian pada bobot. Prior mengatakan "bobot dekat nol lebih masuk akal." Menambah penalti L1 berkorespondensi dengan prior Laplace, yang lebih menyukai bobot sparse. Weight decay bukan hack; itu prior Bayesian dengan nama berbeda.
▶ Estimasi Bayesian
← MLE untuk Distribusi UmumInterval Kepercayaan →