Концентрационни неравенства (накратко)

Извод, оценка и вземане на решения от данни

Дотук статистиката се занимаваше предимно със средни стойности и асимптотика (поведение при n→∞). Неравенствата за концентрация (Concentration inequalities) задават по-остър въпрос за крайни извадки: каква е вероятността дадена случайна величина да се окаже далеч от своето средно значение? Техните отговори са математическата основа на това защо машинното обучение изобщо може да предложи статистически гаранции.

Най-основното от тях, което изисква само неотрицателна променлива и нейното средно значение (очакване), е неравенството на Марков:

То гласи, че една неотрицателна променлива не може да бъде много пъти по-голяма от средната си стойност твърде често. Ако средната стойност е малка, големите стойности трябва да са редки. Оценката е груба, но не изисква почти никакви предварителни допускания.

Къде се използва това в MLГраницата на Хьофдинг е сърцето на теорията за генерализацията (generalization theory). Тя е причината измерената грешка на модела върху краен тестов набор да е доказуемо близка до истинската му грешка с висока вероятност – формалното основание да се доверяваме на резултатите от тестовете. Това е двигателят на PAC (Probably Approximately Correct) обучението: с достатъчно примери разликата между…
▶ Концентрационни неравенства (накратко)
← Очакване–максимизиране (EM)