Teorema do Limite Central

A matemática da incerteza

A lei dos grandes números nos diz que a média amostral converge para μ. Mas como ela chega lá, e qual o aspecto da oscilação que resta? O teorema do limite central dá uma resposta notável: essa oscilação é sempre gaussiana, qualquer que seja a distribuição de partida.

Faça a média de amostras independentes em número suficiente e a média padronizada segue uma normal padrão, mesmo que os originais fossem lançamentos de moeda, dados, ou alguma distribuição assimétrica. É por isso que a curva em sino surge tão frequentemente: tudo o que seja uma soma de muitos pequenos efeitos independentes acaba gaussiano.

A figura faz a média de n lançamentos de um dado equilibrado e constrói o histograma do resultado ao longo de muitas tentativas. Em n = 1 o histograma é plano (uniforme); aumente n e um sino emerge do nada — o TLC construindo uma gaussiana a partir de uma fonte não gaussiana.

Onde isso aparece no MLO TLC explica a estrutura de ruído da otimização estocástica. Um gradiente de mini-lote é uma média sobre os exemplos do lote, portanto, pelo TLC, o seu erro em torno do gradiente verdadeiro é aproximadamente gaussiano, com dispersão σ/√(batch size). É por isso que o ruído do gradiente parece normal, que lotes maiores dão passos proporcionalmente mais suaves (mas apenas √n-melhores), e que as…
▶ Teorema do Limite Central
← Lei dos Grandes NúmerosMedidas de Centralidade →