Bayesiaanse Schatting

Inferentie, schatting en besluitvorming uit data

MLE vraagt "welke enkele θ verklaart de gegevens het best?" Bayesiaanse schatting stelt een rijkere vraag: "gegeven de gegevens, wat is mijn volledige overtuiging over θ?" In plaats van één getal krijg je een hele verdeling, en je kunt erin verwerken wat je vooraf al wist.

Drie ingrediënten. De prior p(θ) is je overtuiging vóór het zien van gegevens. De aannemelijkheid p(x|θ) is hoe goed elke θ de gegevens verklaart (hetzelfde object als bij MLE). De regel van Bayes combineert ze tot de posterior p(θ|x):

Lees het als: posterior-overtuiging = hoe goed θ de gegevens verklaart, gewogen naar hoe plausibel θ om te beginnen was. Meer gegevens laat de aannemelijkheid domineren en wast de prior weg.

Waar dit voorkomt in MLRegularisatie is dit idee in dagelijks gebruik. Het toevoegen van een L2-straf λ‖β‖² aan het verlies is precies MAP-schatting met een Gaussische prior op de gewichten. De prior zegt "gewichten dicht bij nul zijn plausibeler." Het toevoegen van een L1-straf komt overeen met een Laplace-prior, die ijle gewichten verkiest. Weight decay is geen truc; het is een Bayesiaanse prior onder een andere naam.

▶ Bayesiaanse Schatting

← MLE voor Veelvoorkomende Verdelingen Betrouwbaarheidsintervallen →