הסטטיסטיקה עד כה עסקה בעיקר בממוצעים ובאסימפטוטיקה. אי־שוויונות ריכוז שואלים שאלה חדה יותר, ברמת המדגם הסופי: מה ההסתברות שכמות אקראית תנחת רחוק מהתוחלת שלה? התשובות שלהם הן העמוד המתמטי לכך שלמידת מכונה יכולה להציע ערבויות בכלל.
הבסיסי ביותר, הדורש רק משתנה אי־שלילי ואת התוחלת שלו, הוא אי־שוויון מרקוב:
הוא אומר שמשתנה אי־שלילי אינו יכול לעיתים קרובות להיות גדול פי כמה מהממוצע שלו. אם התוחלת קטנה, ערכים גדולים חייבים להיות נדירים. גס, אבל דורש כמעט כלום.
איפה זה ב־MLחסם הופדינג הוא לב תורת ההכללה: הוא הסיבה שהשגיאה הנמדדת של מודל על מערך מבחן סופי קרובה באופן מוכח לשגיאתו האמיתית, בהסתברות גבוהה — ההצדקה הפורמלית לכך שאפשר לסמוך על ציון המבחן. זהו המנוע של PAC learning ("Probably Approximately Correct"): עם מספיק דגימות, הפער בין ביצועי האימון לביצועים האמיתיים קטן בהסתברות גבוהה. אי־שוויונות ריכוז הופכים את "יותר נתונים עוזרים" למשפט מתמטי.