Inference, estimation, and decision-making from data
t-testi, ortalamaları karşılaştırmanın iş gören aracıdır. "Bu ortalama bir hedeften farklı mı?" veya "bu iki grubun ortalamaları farklı mı?" gibi soruları, ortalamalar arasındaki farkı standart hata birimleriyle ölçen bir test istatistiği kullanarak yanıtlar.
Tek örneklem durumu için (ortalama μ bir hedef μ₀'a eşit mi?), istatistik şudur:
Pay "örneklem ortalaması hedeften ne kadar uzakta?"; payda ise standart hatadır. Büyük bir |t|, farkın gürültüye göre büyük olduğu anlamına gelir ki bu, H₀'a karşı bir kanıttır.
Bunun ML'deki yeriHer ikisi de aynı örnekler üzerinde değerlendirildiğinde, eşleştirilmiş t-testi "A modeli B modelinden anlamlı derecede daha mı iyi?" için doğru araçtır. Her test örneği üzerinde eşleştirmek, örnekten örneğe zorluk değişimini ortadan kaldırarak model farkını yalıtır. Dikkat: standart ÇV katlamaları çakışır ki bu bağımsızlığı ihlal eder ve tam olarak bunun için düzeltilmiş eşleştirilmiş testler…