Distribuição Gaussiana

A matemática da incerteza

A distribuição Gaussiana (normal) aparece mais do que qualquer outra em machine learning. É o sino suave e simétrico que surge sempre que muitos pequenos efeitos independentes se somam. Dois números a determinam por completo: a média μ (onde fica o pico) e a variância σ² (a largura do sino).

A fórmula tem menos partes móveis do que aparenta. O coração dela é exp(−(x−μ)²/2σ²): a distância à média, elevada ao quadrado e tornada negativa, de modo que a densidade cai depressa à medida que te afastas de μ. O emaranhado à frente é apenas a constante que faz a área valer 1.

Arrasta μ para deslizar o sino para a esquerda ou para a direita e σ para o alargar ou afinar. Um σ pequeno dá um pico alto e confiante; um σ grande espalha a crença de forma ténue por uma faixa ampla.

Onde isto aparece no MLA primeira vez que uma rede esbarra numa Gaussiana é antes mesmo de o treino começar: a inicialização de pesos sorteia de uma normal escalonada pelo tamanho da camada (inicialização de He/Xavier). Os modelos de ruído supõem resíduos gaussianos, o que torna a regressão de mínimos quadrados o ajuste de máxima verosimilhança. O espaço latente de um VAE é um prior gaussiano, e o truque de…
▶ Distribuição Gaussiana
← Expectativa & Variância (contínuo)Distribuições Contínuas Essenciais →