Точечная оценка вроде x̄ = 5.2 почти наверняка не точно истинное среднее, одно число нечестно. Доверительный интервал сообщает диапазон плюс уровень доверия: «истинный θ в [L, U], с доверительностью 95%». Квантифицирует, насколько конечная выборка позволяет доверять оценке.
Самый частый случай использует ЦПТ: выборочное среднее приблизительно нормально, интервал — оценка плюс-минус погрешность:
Стандартная ошибка σ/√n сжимается с ростом n: вчетверо больше данных — вдвое меньше погрешность. z-значение задаёт доверие: 1.96 для 95%, 2.576 для 99%.
Где это встречается в MLТак честные ML-статьи сообщают результаты. Точность «91.2% ± 0.4%» — доверительный интервал; ± — погрешность. Когда интервалы двух моделей сильно перекрываются, «победитель» может быть просто удачной выборкой. Когда σ совокупности неизвестна или распределение странное, бутстрап (ресэмплинг тестового множества с возвращением) строит интервал эмпирически, без формулы.