Inference, estimation, and decision-making from data
Bazen en önemli değişken hiç gözlemlemediğin değişkendir. Bu nokta hangi kümeden geldi? Bu belgeyi hangi konu üretti? Bu gizli latent değişkenler Z, maksimum olabilirliği zorlaştırır: log-olabilirliği doğrudan maksimize edemezsin, çünkü artık log'un içinde bir toplam vardır. Expectation–Maximization (EM) bunun zarif çözümüdür.
EM zor bir ortak optimizasyonu, yakınsamaya kadar tekrar edilen iki kolay dönüşümlü adıma böler:
EM'in her turda gerçekten yukarı ittiği nicelik, log-olabilirliğin ELBO (evidence lower bound) denen alt sınırıdır. E-adımı sınırı sıkılaştırır; M-adımı onu yükseltir.