Inferensi, estimasi, dan pengambilan keputusan dari data
Kadang variabel paling penting adalah yang tidak pernah Anda amati. Cluster mana titik ini berasal? Topik mana menghasilkan dokumen ini? Variabel laten Z yang tersembunyi ini membuat maksimum likelihood sulit: Anda tidak bisa sekadar memaksimalkan log-likelihood karena sekarang berisi jumlah dalam log. Expectation–Maximization (EM) adalah perbaikan elegan.
EM memecah optimisasi gabungan sulit menjadi dua langkah bergantian mudah, diulang sampai konvergensi:
Kuantitas yang EM dorong naik setiap putaran adalah batas bawah log-likelihood disebut ELBO (evidence lower bound). Langkah-E mengencangkan batas; langkah-M menaikkannya.