Distribuição Gaussiana

A matemática da incerteza

A distribuição Gaussiana (normal) aparece mais do que qualquer outra em machine learning. É o sino suave e simétrico que surge sempre que muitos pequenos efeitos independentes se somam. Dois números a determinam por completo: a média μ (onde fica o pico) e a variância σ² (a largura do sino).

A fórmula tem menos partes móveis do que aparenta. O coração dela é exp(−(x−μ)²/2σ²): a distância à média, elevada ao quadrado e tornada negativa, de modo que a densidade cai rápido à medida que você se afasta de μ. O emaranhado na frente é apenas a constante que faz a área valer 1.

Arraste μ para deslizar o sino para a esquerda ou para a direita e σ para alargá-lo ou afiná-lo. Um σ pequeno dá um pico alto e confiante; um σ grande espalha a crença de forma tênue por uma faixa ampla.

Onde isso aparece no MLA primeira vez que uma rede encosta numa Gaussiana é antes mesmo de o treinamento começar: a inicialização de pesos sorteia de uma normal escalonada pelo tamanho da camada (inicialização de He/Xavier). Os modelos de ruído supõem resíduos gaussianos, o que torna a regressão de mínimos quadrados o ajuste de máxima verossimilhança. O espaço latente de um VAE é um prior gaussiano, e o truque de…
▶ Distribuição Gaussiana
← Expectativa & Variância (contínuo)Distribuições Contínuas Essenciais →