데이터로부터의 추론, 추정, 의사결정
p-값은 «검정 통계량이 얼마나 극단적인가?»를 하나의 숫자로 바꿔 줍니다. H₀가 참이라고 가정했을 때, 우리 데이터 만큼이나 또는 그보다 더 극단적인 데이터를 볼 확률입니다. p-값이 아주 작다는 것은 «정말로 효과가 없다면 이 데이터는 매우 놀라운 일이다»라는 뜻이며, 이는 H₀에 반하는 증거입니다.
결정 규칙은 기계적입니다. 임계값 α를 미리 정해 두고(보통 0.05), p < α이면 H₀를 기각합니다. 작은 p는 H₁을 증명하지는 않습니다. 다만 귀무가설이 데이터를 잘 설명하지 못한다고 말해 줄 뿐입니다.
p-값은 요행에 대한 확인입니다: 실제로 아무 일도 일어나지 않는다면, 여러분과 같은 결과가 나오는 것이 얼마나 놀라운 일일까요? 한 친구가 공정한 동전이라고 주장하면서도 9번 연속 앞면을 던진다고 가정해 보세요 — p-값은 '그것은 공정하다'라는 지루한 H₀ 이야기 하에서 그 연속적인 결과가 얼마나 드문 일인지에 대해 숫자를 부여합니다. 이 숫자가 작을수록 결과를 행운으로 치부하기가 더 어려워집니다.