t-검정은 평균을 비교하는 핵심 도구입니다. «이 평균이 목표값과 다른가?» 또는 «이 두 그룹의 평균이 다른가?» 같은 질문에 답하는데, 평균 사이의 격차를 표준 오차 단위로 재는 통계량을 사용합니다.
단일 표본의 경우(평균 μ가 목표값 μ₀와 같은가?) 통계량은 다음과 같습니다.
분자는 «표본 평균이 목표값에서 얼마나 떨어져 있는가?»이고, 분모는 표준 오차입니다. |t|가 크다는 것은 잡음에 비해 격차가 크다는 뜻이며, 이는 H₀에 반하는 증거입니다.
머신러닝에서의 위치두 모델을 같은 예시들로 평가했을 때, «모델 A가 모델 B보다 유의하게 나은가?»에 대한 올바른 도구가 바로 대응 t-검정입니다. 각 테스트 사례에서 짝을 지으면 예시마다 다른 난이도의 변동이 상쇄되어, 순수한 모델 간 차이만 분리됩니다. 다만 주의할 점이 있습니다. 표준적인 교차검증 폴드는 서로 겹쳐 독립성을 위반하는데, 바로 이를 위한 보정된 대응 검정이 따로 존재합니다(22번 레슨에서 만나게 됩니다).