Inferência, estimação e tomada de decisão a partir de dados
O teste t é o cavalo de batalha para comparar médias. Responde a perguntas como "esta média é diferente de um alvo?" ou "as médias destes dois grupos são diferentes?", usando uma estatística de teste que mede a distância entre médias em unidades de erro padrão.
Para o caso de uma amostra (a média μ é igual a um alvo μ₀?), a estatística é:
O numerador é "a que distância está a média amostral do alvo?"; o denominador é o erro padrão. Um |t| grande significa que a distância é grande em relação ao ruído, o que é evidência contra H₀.
Onde isto aparece no MLO teste t emparelhado é a ferramenta certa para "o modelo A é significativamente melhor do que o modelo B?" quando ambos são avaliados nos mesmos exemplos. O emparelhamento em cada instância de teste cancela a variação de dificuldade de exemplo para exemplo, isolando a diferença entre os modelos. Atenção: os folds padrão de validação cruzada sobrepõem-se, o que viola a independência, e existem…