Đôi khi biến quan trọng nhất lại là biến bạn không bao giờ quan sát được. Điểm này đến từ cụm nào? Chủ đề nào đã sinh ra tài liệu này? Những biến ẩn Z này khiến hợp lý cực đại trở nên khó: bạn không thể chỉ cực đại hóa log-hợp-lý vì giờ đây nó chứa một tổng nằm bên trong logarit. Cực đại hóa kỳ vọng (EM) là cách khắc phục tao nhã.
EM tách bài toán tối ưu khó thành hai bước dễ luân phiên nhau, lặp lại cho đến khi hội tụ:
Đại lượng mà EM thực sự nâng lên ở mỗi vòng là một cận dưới của log-hợp-lý, gọi là ELBO (cận dưới của bằng chứng). Bước E thắt chặt cận; bước M nâng nó lên.
Vị trí của nó trong MLEM là động cơ đằng sau các mô hình hỗn hợp Gaussian và việc phân cụm, đồng thời cấu trúc E/M của nó là tiền thân khái niệm của bộ tự mã hóa biến phân (VAE). Bộ mã hóa của VAE đóng vai trò bước E (suy ra biến ẩn z), còn bộ giải mã cùng mục tiêu ELBO đóng vai trò bước M. Khuôn mẫu "cực đại hóa một cận dưới bằng cách luân phiên giữa suy luận biến ẩn và cập nhật tham số" có mặt ở khắp nơi trong các…