Suy luận, ước tính và ra quyết định từ dữ liệu
Kiểm định giả thuyết là một cách có kỷ luật để trả lời câu hỏi "hiệu ứng này có thật không, hay chỉ là nhiễu?", đúng là câu hỏi "mô hình A có thực sự tốt hơn mô hình B không?". Bạn bắt đầu bằng cách giả định chẳng có gì xảy ra cả rồi hỏi: nếu điều đó là đúng thì dữ liệu của bạn sẽ đáng ngạc nhiên đến mức nào.
Có hai phát biểu cạnh tranh. Giả thuyết không H₀ là mặc định nhàm chán: không có hiệu ứng, không có khác biệt. Giả thuyết đối H₁ là điều bạn nghi ngờ: có hiệu ứng. Bạn tính thống kê kiểm định từ dữ liệu rồi hỏi: nếu H₀ đúng, giá trị này cực đoan đến mức nào?
Nếu thống kê cực đoan đến mức hiếm khi xảy ra dưới H₀, thì bạn bác bỏ H₀. Nếu không, bạn không thể bác bỏ nó (lưu ý: không bao giờ "chấp nhận", vì thiếu bằng chứng không phải là bằng chứng của sự vắng mặt).