Inferencia, estimación y toma de decisiones a partir de datos
Prueba de hipótesis es una forma disciplinada de responder "¿es este efecto real, o podría ser solo ruido?", que es exactamente la pregunta "¿el modelo A es realmente mejor que el modelo B?" Comienzas asumiendo que no hay nada pasando y preguntas cuán sorprendente sería tu datos si eso fuera cierto.
Dos afirmaciones competidoras. La hipótesis nula H₀ es la opción aburrida por defecto: sin efecto, sin diferencia. La hipótesis alternativa H₁ es lo que sospechas: hay un efecto. Calculas una estadística de prueba a partir de los datos y preguntas: si H₀ fuera cierta, ¿cuán extrema sería este valor?
Si la estadística es tan extrema que rara vez sucedería bajo H₀, rechazas H₀. De lo contrario, no rechasla hipótesis (nota: nunca "aceptar", ya que la ausencia de evidencia no es evidencia de ausencia).