Inférence, estimation et prise de décision à partir des données
Parfois la variable la plus importante est une que vous n'observez jamais. De quel cluster ce point vient-il ? Quel sujet a généré ce document ? Ces variables latentes cachées Z rendent le maximum de vraisemblance difficile : vous ne pouvez pas juste maximiser la log-vraisemblance parce qu'elle contient maintenant une somme à l'intérieur d'un log. L'Expectation–Maximization (EM) est la solution élégante.
EM casse une optimisation jointe difficile en deux étapes alternées faciles, répétées jusqu'à convergence :
La quantité qu'EM pousse réellement vers le haut à chaque tour est une borne inférieure de la log-vraisemblance appelée l'ELBO (evidence lower bound). L'étape E resserre la borne ; l'étape M l'élève.