데이터로부터의 추론, 추정, 의사결정
가설 검정은 «이 효과가 진짜인가, 아니면 그저 잡음일 뿐인가?»에 답하는 규율 잡힌 방법입니다. 이는 «모델 A가 정말로 모델 B보다 나은가?»라는 질문과 정확히 같습니다. 먼저 아무 일도 일어나지 않는다고 가정한 뒤, 만약 그 가정이 참이라면 우리 데이터가 얼마나 놀라울지를 묻습니다.
서로 경쟁하는 두 주장이 있습니다. 귀무가설 H₀는 지루한 기본 가정입니다. 효과 없음, 차이 없음입니다. 대립가설 H₁은 우리가 의심하는 바입니다. 효과가 있다는 것이지요. 우리는 데이터로부터 검정 통계량을 계산하고 묻습니다. H₀가 참이라면 이 값이 얼마나 극단적인가?
통계량이 H₀ 아래에서는 좀처럼 나오지 않을 만큼 극단적이라면 H₀를 기각합니다. 그렇지 않으면 기각하지 못합니다(여기서 «채택»이라고 하지 않는다는 점에 유의하세요. 증거가 없다고 해서 그것이 부재의 증거가 되지는 않기 때문입니다).