Inférence, estimation et prise de décision à partir des données
Presque toute question statistique a la même forme. Il y a un vrai nombre quelque part dans le monde que vous ne pouvez pas voir, le paramètre θ (une vraie moyenne, une vraie probabilité de succès). Vous n'avez qu'un échantillon fini de données. À partir de ces données vous calculez une estimation, l'estimateur θ̂. L'estimation est l'art de construire de bonnes estimations et de savoir à quel point leur faire confiance.
Parce que les données sont aléatoires, θ̂ est lui-même une quantité aléatoire : relancez l'expérience, obtenez un θ̂ différent. Nous jugeons un estimateur par deux choses : son biais (tombe-t-il sur θ en moyenne ?) et sa variance (combien oscille-t-il d'échantillon à échantillon ?).
Vous ne pouvez pas boire toute la marmite de soupe pour juger de l'assaisonnement, alors vous remuez bien et goûtez une cuillerée. La vraie salinité de la marmite entière est le paramètre θ que vous ne pouvez pas voir directement ; la salinité de votre cuillerée est l'estimateur θ̂. Remuez soigneusement d'abord et une seule cuillerée estime remarquablement bien toute la marmite — c'est ce remuement qui rend l'échantillon représentatif.