Извод, оценка и вземане на решения от данни
Почти всеки статистически въпрос има една и съща форма. Съществува някакво истинско число в реалния свят, което не можете да видите – параметърът θ (истинска средна стойност, истинска вероятност за успех). Вие разполагате само с ограничена извадка от данни. От тези данни изчислявате някакво предположение – оценителя θ̂. Теорията на оценяването е изкуството да се правят добри предположения и да се знае доколко може да им се вярва.
Тъй като данните са случайни, θ̂ само по себе си е случайна величина: ако проведете експеримента отново, ще получите различно θ̂. Оценяваме един оценител по две неща: неговото отклонение (bias) (попада ли върху θ средно?) и неговата дисперсия (variance) (колко варира от извадка до извадка?).
Не можете да изпиете цялата тенджера със супа, за да прецените подправките, затова разбърквате добре и опитвате една лъжица. Истинската соленост на цялата тенджера е параметърът θ, който не можете да видите директно; солеността на вашата лъжица е оценителят θ̂. Разбъркайте старателно първо и една единствена лъжица оценява цялата тенджера забележително добре — това разбъркване прави извадката представителна.