Математическое ожидание — Вероятность

Матожидание случайной величины — её долгосрочное среднее: значение, к которому сошлись бы, повторяя эксперимент бесконечно и усредняя результаты. Это взвешенное среднее возможных значений, каждое взвешено своей вероятностью:

Думайте о PMF как о гирях на линейке; E[X] — точка равновесия. Она не обязана быть значением, которое X реально принимает. Честный кубик в среднем 3.5, хотя ни одна грань не показывает.

Представьте себе игровой автомат, в который вы бросаете монеты тысячи раз. За одно-единственное нажатие вы можете крупно выиграть или потерять свою монету, но у автомата есть фиксированная долгосрочная средняя выплата за игру, и это число — E[X]. Это стабильное значение, к которому стремится ваше среднее по мере накопления игр, даже если ни одно отдельное вращение никогда не выпадает точно на него.

Где это встречается в MLОбучение минимизирует ожидаемый проигрыш E_D[L(θ)], среднюю потерю по распределению данных. Мы не можем вычислить это матожидание точно, поэтому приближаем средним по конечной выборке (обучающее множество) и по мини-батчу для каждого шага градиента. Линейность матожидания — почему средний градиент по батчу — несмещённая оценка истинного.