Inferentie, schatting en besluitvorming uit data
Statistiek tot nu toe ging vooral over gemiddelden en asymptotiek. Concentratie-ongelijkheden stellen een scherpere, eindige-steekproefvraag: hoe waarschijnlijk is het dat een willekeurige grootheid ver van zijn gemiddelde belandt? Hun antwoorden zijn de wiskundige ruggengraat van waarom machine learning überhaupt garanties kan bieden.
De meest basale, die alleen een niet-negatieve variabele en zijn gemiddelde vereist, is Markovs ongelijkheid:
Het zegt dat een niet-negatieve variabele niet vaak vele malen zijn gemiddelde kan zijn. Als het gemiddelde klein is, moeten grote waarden zeldzaam zijn. Grof, maar het heeft bijna niets nodig.