Вывод, оценивание и принятие решений по данным
Иногда важнейшая переменная — та, которую вы никогда не наблюдаете. Из какого кластера эта точка? Какая тема породила этот документ? Эти скрытые латентные переменные Z делают максимальное правдоподобие сложным: нельзя просто максимизировать лог-правдоподобие, потому что теперь в нём сумма внутри логарифма. EM-алгоритм — изящное решение.
EM разбивает сложную совместную оптимизацию на два простых чередующихся шага, повторяемых до сходимости:
Величина, которую EM толкает вверх каждый раунд, — нижняя граница лог-правдоподобия, называемая ELBO (нижняя граница доказательства). E-шаг затягивает границу; M-шаг поднимает её.