Θεώρημα του Bayes — Πιθανότητες

Συχνά γνωρίζετε τη μία κατεύθυνση μιας δεσμευμένης πιθανότητας αλλά θέλετε την άλλη. Μια ιατρική εξέταση σας δίνει το P(positive | disease), αλλά ο ασθενής θέλει το P(disease | positive). Το θεώρημα του Bayes είναι η γέφυρα που αντιστρέφει μια δεσμευμένη πιθανότητα.

Προκύπτει άμεσα από το προηγούμενο μάθημα. Ο κανόνας πολλαπλασιασμού δίνει το P(A∩B) με δύο τρόπους, ως P(A|B)P(B) και ως P(B|A)P(A). Εξισώστε τα και διαιρέστε με το P(B). Τα τρία μέρη έχουν ονόματα που θα συναντήσετε παντού στη μηχανική μάθηση: το P(A) είναι η εκ των προτέρων πιθανότητα (prior) (η πεποίθηση πριν από τις ενδείξεις), το P(B|A) είναι η πιθανοφάνεια (likelihood) (πόσο καλά το A εξηγεί τις ενδείξεις), και το P(A|B) είναι η εκ των υστέρων πιθανότητα (posterior) (η ενημερωμένη πεποίθηση).

Το κάτω μέρος P(B) υπολογίζεται συνήθως αναλύοντας όλους τους τρόπους με τους οποίους μπορεί να συμβεί το B, σύμφωνα με το θεώρημα ολικής πιθανότητας:

Πού χρησιμοποιείται στο MLΤο θεώρημα του Bayes είναι η κινητήρια δύναμη της πιθανοτικής μηχανικής μάθησης. Η Μπεϋζιανή συμπερασματολογία (Bayesian inference) ενημερώνει μια εκ των προτέρων κατανομή (prior) παραμέτρων σε μια εκ των υστέρων κατανομή (posterior) δεδομένων των παρατηρήσεων: P(θ | data) ∝ P(data | θ)·P(θ). Η εκπαίδευση μέγιστης πιθανοφάνειας (maximum likelihood) είναι η ειδική περίπτωση όπου η εκ των προτέρων…