t-тест — Статистика · Mathematics for Machine Learning

t-тестът е основният инструмент („работният кон“) за сравняване на средни стойности. Той отговаря на въпроси като „различава ли се тази средна стойност от целта?“ или „различни ли са средните стойности на тези две групи?“, използвайки тестова статистика, която измерва разликата между средните стойности в единици стандартна грешка.

За случая с една извадка (one-sample t-test) (средната стойност μ равна ли е на целевата стойност μ₀?), статистиката е:

Числителят отговаря на въпроса „колко далеч е средната стойност на извадката от целта?“, а знаменателят е стандартната грешка. Голямо |t| означава, че разликата е голяма спрямо шума, което е силно доказателство срещу H₀.

Къде се използва това в MLСдвоеният t-тест е правилният инструмент за въпроса „модел A значително по-добър ли е от модел B?“, когато и двата модела се оценяват върху едни и същи примери. Сдвояването на резултатите за всеки тестов пример елиминира вариацията в трудността между отделните примери, изолирайки единствено разликата между самите модели. Внимание: стандартните части при кръстосана валидация (CV folds) се…