Inferência, estimação e tomada de decisão a partir de dados
Por vezes, a variável mais importante é uma que você nunca chega a observar. De que cluster veio este ponto? Que tópico gerou este documento? Estas variáveis latentes Z, ocultas, tornam a máxima verossimilhança difícil: já não basta maximizar a log-verossimilhança, porque ela passa a conter uma soma dentro de um logaritmo. O algoritmo Expectation–Maximization (EM) é a solução elegante.
O EM decompõe uma otimização conjunta difícil em dois passos alternados e fáceis, repetidos até a convergência:
A quantidade que o EM efetivamente empurra para cima em cada rodada é um limite inferior da log-verossimilhança chamado ELBO (evidence lower bound). O passo E aperta o limite; o passo M o eleva.