Извод, оценка и вземане на решения от данни
Проверката на хипотези е дисциплиниран начин да се отговори на въпроса „реален ли е този ефект или може би е просто шум?“, което е идентично с въпроса „модел А наистина ли е по-добър от модел Б?“. Започвате, като приемате, че нищо не се случва и питате колко изненадващи биха били вашите данни, ако това допускане беше вярно.
Имате две конкуриращи се твърдения. Нулевата хипотеза H₀ е скучното допускане по подразбиране: няма ефект, няма разлика. Алтернативата H₁ е това, което подозирате: има ефект. Изчислявате тестова статистика от данните и питате: ако H₀ е вярна, колко екстремна е тази стойност?
Ако статистиката е толкова екстремна, че рядко би се наблюдавала при вярна H₀, вие отхвърляте H₀. В противен случай не успявате да я отхвърлите (забележка: никога не я „приемайте“, тъй като липсата на доказателства не е доказателство за липса на ефект).