p-values

Inférence, estimation et prise de décision à partir des données

La p-value transforme « à quel point ma statistique de test est-elle extrême ? » en un seul nombre. C'est la probabilité de voir des données au moins aussi extrêmes que les vôtres, en supposant H₀ vrai. Une p-value minuscule signifie « ces données seraient très surprenantes s'il n'y avait vraiment aucun effet », ce qui est une preuve contre H₀.

La règle de décision est mécanique : choisissez un seuil α à l'avance (communément 0,05), puis rejetez H₀ si p < α. Une petite p ne prouve pas H₁ ; elle dit juste que l'hypothèse nulle explique mal les données.

Une valeur p est un contrôle de coup de chance : si rien ne se passait vraiment, à quel point un résultat comme le vôtre serait-il surprenant ? Supposons qu'un ami prétende avoir une pièce équitable mais lance neuf faces d'affilée — une valeur p met un nombre sur la rareté de cette série selon l'histoire ennuyeuse 'elle est équitable' H₀. Plus le nombre est petit, plus il est difficile de rejeter le résultat comme étant de la chance.

Où cela apparaît en MLEn ML, une p-value vous dit si la victoire du modèle A sur le modèle B à un benchmark est du signal ou du bruit. Mais le piège est réel : avec un jeu de test gigantesque, un gain de précision de 0,01 % peut être « significatif » pourtant totalement dénué de sens en pratique. Et le p-hacking, essayer des configurations jusqu'à ce qu'une passe p < 0,05, est exactement comment les classements se…
▶ p-values
← CadreTest t →