p-значения

Вывод, оценивание и принятие решений по данным

p-значение превращает «насколько экстремальна статистика?» в одно число. Это вероятность увидеть данные хотя бы настолько экстремальные, как ваши, предполагая H₀ верной. Малое p-значение значит «эти данные были бы очень удивительны, если эффекта нет», свидетельство против H₀.

Решающее правило механическое: выберите порог α заранее (обычно 0.05), затем отвергайте H₀, если p < α. Малое p не доказывает H₁; оно лишь говорит, что нулевая плохо объясняет данные.

P-значение (p-value) — это проверка на случайность: если бы на самом деле ничего не происходило, насколько удивительным был бы такой результат, как ваш? Представьте, что друг утверждает, что монета честная, но при этом выбрасывает девять орлов подряд — p-значение дает числовую оценку того, насколько редкой была бы эта серия в рамках скучной истории «она честная» H₀. Чем меньше число, тем сложнее списать результат на удачу.

Где это встречается в MLВ ML p-значение говорит, сигнал или шум в победе модели A над B на бенчмарке. Но ловушка реальна: с гигантским тестовым множеством прирост точности 0.01% может быть «значимым», но совершенно бессмысленным на практике. И p-hacking — перебор конфигураций, пока одна не пройдёт p < 0.05, — именно так таблицы лидеров заполняются невоспроизводимыми результатами.
▶ p-значения
← Проверка гипотезt-критерий →