Bayesçi Tahmin

Inference, estimation, and decision-making from data

MLE "veriyi en iyi açıklayan tek θ hangisi?" diye sorar. Bayesçi tahmin daha zengin bir soru sorar: "veri verildiğinde θ hakkındaki tam inancım nedir?" Tek bir sayı yerine bütün bir dağılım elde edersin ve önceden bildiklerini de içeri katabilirsin.

Üç bileşen vardır. Önsel p(θ), veriyi görmeden önceki inancındır. Olabilirlik p(x|θ), her θ'nin veriyi ne kadar iyi açıkladığıdır (MLE'deki aynı nesne). Bayes kuralı bunları sonsal p(θ|x) içinde birleştirir:

Şöyle oku: sonsal inanç = θ'nin veriyi ne kadar iyi açıkladığı, θ'nin baştan ne kadar makul olduğuyla ağırlıklandırılmış hâli. Daha çok veri olabilirliği baskın yapar ve önselin etkisini siler.

Bunun ML'deki yeriDüzenlileştirme bu fikrin günlük kullanımıdır. Kayba L2 cezası λ‖β‖² eklemek, ağırlıklar üzerinde Gauss önseli ile MAP tahminiyle tam olarak aynıdır. Önsel "sıfıra yakın ağırlıklar daha makul" der. L1 cezası eklemek ise seyrek ağırlıkları tercih eden Laplace önseline karşılık gelir. Weight decay bir hile değildir; farklı isimli bir Bayesçi önseldir.
▶ Bayesçi Tahmin
← Yaygın Dağılımlar için MLEGüven Aralıkları →