지금까지의 통계는 주로 평균과 점근적 성질에 관한 것이었습니다. 집중 부등식은 더 날카로운, 유한 표본에 대한 질문을 던집니다. 어떤 무작위 양이 자신의 평균에서 멀리 떨어질 확률은 얼마나 될까요? 그 답이야말로 머신러닝이 도대체 어떻게 보장을 제공할 수 있는지를 떠받치는 수학적 뼈대입니다.
가장 기본적인 것으로, 음이 아닌 변수와 그 평균만 있으면 되는 것이 마르코프 부등식입니다.
이 부등식은 음이 아닌 변수가 자신의 평균의 여러 배가 되는 일이 자주 일어날 수는 없다고 말합니다. 평균이 작으면 큰 값은 드물 수밖에 없지요. 거칠긴 하지만 요구하는 것이 거의 없습니다.
머신러닝에서의 위치회프딩 경계는 일반화 이론의 심장입니다. 유한한 테스트 세트에서 측정한 모델의 오차가 높은 확률로 진짜 오차에 증명 가능할 만큼 가까운 이유, 곧 테스트 점수를 믿어도 되는 공식적 근거가 바로 여기에 있습니다. 이것은 PAC 학습(«아마도 대략 정확»)의 엔진이기도 합니다. 표본이 충분하면 훈련 성능과 진짜 성능 사이의 격차가 높은 확률로 작아진다는 것이지요. 집중 부등식은 «데이터가 많을수록 도움이 된다»를 하나의 정리로 바꿔 놓습니다.