לפעמים המשתנה החשוב ביותר הוא דווקא זה שלעולם אינך מתבונן בו. מאיזה אשכול הגיעה הנקודה הזו? איזה נושא יצר את המסמך הזה? משתנים סמויים אלה, Z, הופכים את הנראוּת המרבית לקשה: אי אפשר פשוט למקסם את הלוג־נראוּת, כי כעת היא מכילה סכום בתוך לוגריתם. Expectation–Maximization (EM) הוא התיקון האלגנטי.
EM מפרק אופטימיזציה משותפת קשה לשני צעדים מתחלפים וקלים, החוזרים עד התכנסות:
הכמות ש־EM באמת דוחף כלפי מעלה בכל סבב היא חסם תחתון על הלוג־נראוּת, הנקרא ELBO (evidence lower bound). צעד E מהדק את החסם; צעד M מרים אותו.
איפה זה ב־MLEM הוא המנוע מאחורי מודלי תערובת גאוסיאנים ואשכּוּל, ומבנה ה־E/M שלו הוא האב המושגי של variational autoencoders. המקודד של VAE משחק את תפקיד צעד E (הסקת ה־z הסמוי), בעוד המפענח ופונקציית המטרה ELBO משחקים את תפקיד צעד M. התבנית "מקסם חסם תחתון על ידי התחלפות בין הסקת משתנים סמויים לעדכון פרמטרים" נמצאת בכל מקום במודלים מודרניים בעלי משתנים סמויים.