Проверка гипотез — Статистика

Вывод, оценивание и принятие решений по данным

Проверка гипотез — дисциплинированный способ ответить «эффект реален или просто шум?», точный вопрос «модель A реально лучше модели B?» Начинаете с предположения, что ничего не происходит, и спрашиваете, насколько удивительны данные, если это так.

Два конкурирующих утверждения. Нулевая гипотеза H₀ — скучное умолчание: нет эффекта, нет разницы. Альтернатива H₁ — подозрение: эффект есть. Вычисляете статистику критерия по данным и спрашиваете: если H₀ верна, насколько экстремально это значение?

Если статистика настолько экстремальна, что редко случилась бы при H₀, вы отвергаете H₀. Иначе не отвергаете (заметьте: никогда «принимаете», отсутствие доказательств — не доказательство отсутствия).

Где это встречается в MLКаждое утверждение «+0.5% точности» — неявная проверка гипотезы. H₀: модели одинаково хороши; наблюдённый разрыв — шум выборки. Пропустите проверку — выкатите улучшения, исчезающие на следующем разбиении данных, гоняясь за ошибками I рода. Вся причина, по которой ML-бенчмарки сообщают дисперсию по сидам, — дать вам честно спросить, превышает ли разрыв уровень шума.