t-критерий — рабочая лошадка для сравнения средних. Отвечает на вопросы «отличается ли среднее от цели?» или «различаются ли средние двух групп?», используя статистику, измеряющую разрыв между средними в единицах стандартной ошибки.
Для одновыборочного случая (равно ли среднее μ цели μ₀?) статистика:
Числитель — «насколько выборочное среднее от цели?»; знаменатель — стандартная ошибка. Большое |t| значит разрыв велик относительно шума, свидетельство против H₀.
Где это встречается в MLПарный t-критерий — правильный инструмент для «значимо ли модель A лучше B?», когда обе оценены на одних примерах. Парность по каждому тестовому примеру cancelling межпримерную вариацию трудности, изолируя разницу моделей. Берегитесь: стандартные CV-фолды перекрываются, нарушая независимость, и существуют исправленные парные критерии именно для этого (встретите в уроке 22).