Συμπερασματολογία, εκτίμηση και λήψη αποφάσεων από δεδομένα
Αν πρέπει να επιλέξετε μια μοναδική τιμή για την παράμετρο θ, ο πιο φυσικός κανόνας είναι ο εξής: επιλέξτε το θ που καθιστά τα δεδομένα που παρατηρήσατε στην πραγματικότητα πιο πιθανά. Αυτή είναι η εκτίμηση μέγιστης πιθανοφάνειας (MLE), η αρχή πίσω από την εκπαίδευση σχεδόν κάθε μοντέλου στο ML.
Δεδομένων των δεδομένων x₁, …, xₙ που θεωρούνται ανεξάρτητα, η πιθανότητα ολόκληρου του δείγματος είναι το γινόμενο των πιθανοτήτων κάθε σημείου. Ως συνάρτηση του θ, αυτό το γινόμενο είναι η πιθανοφάνεια:
Ο πολλαπλασιασμός πολλών μικρών πιθανοτήτων προκαλεί υποχείλιση (underflow) στο μηδέν και είναι δύσκολο να παραγωγιστεί. Η λύση είναι να πάρουμε τον λογάριθμο: ο λογάριθμος ενός γινομένου είναι ένα άθροισμα, και επειδή ο λογάριθμος είναι αύξουσα συνάρτηση, δεν αλλάζει το σημείο μεγίστου. Μεγιστοποιούμε τη λογαριθμική πιθανοφάνεια: