t検定

データからの推論、推定、意思決定

t検定は平均を比較する主力です。「この平均は目標と異なるか?」や「これら2つのグループの平均は異なるか?」のような問いに答える、平均間のギャップを標準誤差の単位で測る検定統計量を使う。

1標本ケース(平均μは目標μ₀に等しいか?)について、統計量は:

分子は「標本平均は目標からどれくらい離れているか」;分母は標準誤差です。大きな|t|はギャップがノイズに対して大きいことを意味し、H₀に対する証拠です。

機械学習における位置づけ対応ありt検定は「モデルAはモデルBより有意に良いか?」に適したツールで、両者が同じ例で評価されるとき。各テストインスタンスで対応付けることで例間の難易度変動を打ち消し、モデル差を孤立させる。注意:標準的なCVフォールドは重なり、独立性に違反し、修正対応あり検定がまさにこのために存在する(レッスン22で紹介)。
▶ t検定
← p値多重検定 →