Централна гранична теорема — Вероятност

Законът за големите числа гласи, че извадковата средна клони към μ. Но как точно се стига дотам и как изглежда остатъчното трептене (флуктуация)? Централната гранична теорема (Central Limit Theorem - CLT) дава изумителен отговор: колебанието е винаги гаусово (нормално разпределено), независимо от какво първоначално разпределение сте тръгнали.

Осреднете достатъчно на брой независими проби и стандартизираната средна стойност ще следва стандартно нормално разпределение, дори ако първоначалните данни са от хвърляне на монета, зарове или някакво силно изкривено разпределение. Това е и причината камбановидната крива да се появява толкова често: всяко нещо, което представлява сбор от много малки независими ефекти, в крайна сметка клони към гаусово разпределение.

Фигурата осреднява n хвърляния на правилен зар и показва хистограмата на резултатите за много опити. При n = 1 хистограмата е плоска (равномерна); при увеличаване на n, от нищото се оформя камбановидна крива – CLT изгражда гаусово разпределение от негаусов източник.

Къде се използва това в MLCLT обяснява структурата на шума при стохастичната оптимизация (stochastic optimization). Градиентът на мини-партидата (mini-batch gradient) е средна стойност от градиентите на примерите в партидата, така че според CLT неговата грешка спрямо истинския градиент е приблизително гаусова с разсейване σ/√(batch size). Ето защо градиентният шум изглежда като нормално разпределение, защо по-големите…