Concentratie-ongelijkheden (kort)

Inferentie, schatting en besluitvorming uit data

Statistiek tot nu toe ging vooral over gemiddelden en asymptotiek. Concentratie-ongelijkheden stellen een scherpere, eindige-steekproefvraag: hoe waarschijnlijk is het dat een willekeurige grootheid ver van zijn gemiddelde belandt? Hun antwoorden zijn de wiskundige ruggengraat van waarom machine learning überhaupt garanties kan bieden.

De meest basale, die alleen een niet-negatieve variabele en zijn gemiddelde vereist, is Markovs ongelijkheid:

Het zegt dat een niet-negatieve variabele niet vaak vele malen zijn gemiddelde kan zijn. Als het gemiddelde klein is, moeten grote waarden zeldzaam zijn. Grof, maar het heeft bijna niets nodig.

Waar dit voorkomt in MLHoeffdings grens is het hart van de generalisatietheorie: het is waarom de gemeten fout van een model op een eindige testset aantoonbaar dicht bij zijn ware fout ligt, met hoge waarschijnlijkheid, de formele rechtvaardiging voor het vertrouwen op een testscore. Dit is de motor van PAC-leren ("Probably Approximately Correct"): met genoeg steekproeven is de kloof tussen trainings- en ware prestatie…
▶ Concentratie-ongelijkheden (kort)
← Expectation-Maximization (EM)