Inférence, estimation et prise de décision à partir des données
Les statistiques jusqu'ici portaient surtout sur les moyennes et les asymptotiques. Les inégalités de concentration posent une question plus pointue, à échantillon fini : quelle est la probabilité qu'une quantité aléatoire atterrisse loin de sa moyenne ? Leurs réponses sont l'épine dorsale mathématique de la raison pour laquelle le machine learning peut offrir des garanties.
La plus basique, exigeant seulement une variable non négative et sa moyenne, est l'inégalité de Markov :
Elle dit qu'une variable non négative ne peut pas souvent être plusieurs fois sa moyenne. Si la moyenne est petite, les grandes valeurs doivent être rares. Brute, mais elle n'exige presque rien.