Thống kê cho đến giờ chủ yếu nói về giá trị trung bình và tính tiệm cận. Bất đẳng thức tập trung đặt một câu hỏi mẫu hữu hạn, sắc bén hơn: xác suất để một đại lượng ngẫu nhiên rơi xa giá trị trung bình của nó là bao nhiêu? Câu trả lời của chúng là nền tảng toán học giải thích vì sao học máy có thể đưa ra bảo đảm.
Cơ bản nhất, chỉ cần một biến không âm và giá trị trung bình của nó, là Bất đẳng thức Markov:
Nó nói rằng một biến không âm thường không thể lớn gấp nhiều lần giá trị trung bình của nó. Nếu trung bình nhỏ thì các giá trị lớn phải hiếm. Thô, nhưng nó gần như không đòi hỏi gì.
Vị trí của nó trong MLChặn Hoeffding là trung tâm của lý thuyết tổng quát hóa: đó là lý do vì sao lỗi đo được của mô hình trên một tập kiểm tra hữu hạn được chứng minh là gần với lỗi thực của nó, với xác suất cao — cơ sở hình thức để tin vào điểm kiểm tra. Đây là công cụ của học PAC ("Probably Approximately Correct", tức "có lẽ gần đúng"): với đủ mẫu, khoảng cách giữa hiệu năng huấn luyện và hiệu năng thực là nhỏ với…