Inferentie, schatting en besluitvorming uit data
Soms is de belangrijkste variabele er een die je nooit waarneemt. Uit welk cluster kwam dit punt? Welk onderwerp genereerde dit document? Deze verborgen latente variabelen Z maken maximum likelihood lastig: je kunt niet zomaar de log-likelihood maximaliseren omdat die nu een som binnen een logaritme bevat. Expectation–Maximization (EM) is de elegante oplossing.
EM breekt een lastige gezamenlijke optimalisatie op in twee makkelijke afwisselende stappen, herhaald tot convergentie:
De grootheid die EM elke ronde daadwerkelijk omhoog duwt is een ondergrens op de log-likelihood, de ELBO (evidence lower bound). De E-stap maakt de grens strakker; de M-stap tilt hem op.