p-стойности

Извод, оценка и вземане на решения от данни

p-стойността (p-value) превръща въпроса „колко екстремна е моята тестова статистика?“ в едно число. Това е вероятността да наблюдавате данни поне толкова екстремни колкото вашите, ако приемем, че H₀ е вярна. Малка p-стойност означава, че „тези данни биха били много изненадващи, ако наистина нямаше ефект“, което е доказателство срещу H₀.

Правилото за вземане на решение е механично: изберете предварително праг α (обикновено 0,05), след което отхвърлете H₀, ако p . Малкото p не доказва H₁; то просто показва, че нулевата хипотеза обяснява данните зле.

p-стойността е проверка за случайност: ако нищо наистина не се случваше, колко изненадващ би бил резултат като вашия? Да предположим, че приятел твърди, че монетата е честна, но хвърля девет пъти ези подред — p-стойността поставя число на това колко рядка би била тази поредица според скучната история 'тя е честна' H₀. Колкото по-малко е числото, толкова по-трудно е да отхвърлите резултата като късмет.

Къде се използва това в MLВ машинното обучение p-стойността ви казва дали победата на модел A над модел B на даден бенчмарк е сигнал, или шум. Но капанът е реален: при гигантски тестов набор (test set) увеличение на точността от 0,01% може да бъде „значително“, но същевременно напълно безсмислено на практика. А p-хакването (p-hacking) – изпробването на различни конфигурации, докато се получи p < 0,05 – е точно начинът, по…
▶ p-стойности
← Основи на проверката на хипотезиt-тест →