Lei dos Grandes Números

A matemática da incerteza

Lança uma moeda justa dez vezes e pode muito bem sair 7 caras. Lança-a dez mil vezes e a fração de caras vai aproximar-se de 0.5 com uma precisão surpreendente. É essa a lei dos grandes números: à medida que recolhemos mais dados, a média amostral converge para a esperança verdadeira.

A aleatoriedade não desaparece, e os resultados individuais continuam imprevisíveis, mas a média de muitos deles assenta. A lei fraca afirma que essa convergência é "em probabilidade": para qualquer tolerância, a hipótese de a média se desviar mais do que essa tolerância encolhe para 0 à medida que n cresce.

Clica em Executar na figura para lançar moedas uma a uma e observa a média corrente oscilar de forma errática no início, para depois convergir para a média verdadeira tracejada. Mais amostras, convergência mais apertada.

Onde isto aparece no MLA lei dos grandes números é o que torna sólido o treino por mini-lotes. O gradiente verdadeiro é uma esperança sobre toda a distribuição dos dados; um gradiente de mini-lote é uma média amostral desse gradiente. Pela LGN, essa média aproxima o gradiente verdadeiro e torna-se mais precisa com lotes maiores. Toda a estimativa de Monte Carlo em ML (a recompensa esperada, um termo do ELBO, um risco…
▶ Lei dos Grandes Números
← Informação MútuaTeorema do Limite Central →