Inferenz, Schätzung und Entscheidungsfindung aus Daten
Fast jede statistische Frage hat dieselbe Gestalt. Es gibt irgendeine wahre Zahl draußen in der Welt, die du nicht sehen kannst, den Parameter θ (einen wahren Mittelwert, eine wahre Erfolgswahrscheinlichkeit). Du hast nur eine endliche Stichprobe von Daten. Aus diesen Daten berechnest du eine Schätzung, den Schätzer θ̂. Die Schätztheorie ist die Kunst, gute Schätzungen zu konstruieren und zu wissen, wie sehr man ihnen trauen kann.
Da die Daten zufällig sind, ist θ̂ selbst eine zufällige Größe: Führe das Experiment erneut durch, erhalte ein anderes θ̂. Wir beurteilen einen Schätzer anhand zweier Dinge: seiner Verzerrung (landet er im Mittel bei θ?) und seiner Varianz (wie stark schwankt er von Stichprobe zu Stichprobe?).
Du kannst nicht den ganzen Topf Suppe trinken, um die Würze zu beurteilen, also rührst du gut um und probierst einen Löffel. Der wahre Salzgehalt des gesamten Topfes ist der Parameter θ, den du nicht direkt sehen kannst; der Salzgehalt deines Löffels ist der Schätzer θ̂. Rühre zuerst gründlich um, und ein einziger Löffel schätzt den ganzen Topf bemerkenswert gut — dieses Umrühren ist das, was die Stichprobe repräsentativ macht.