Distribución Gaussiana

Las matemáticas de la incertidumbre

La distribución gaussiana (normal) aparece más que ninguna otra en el aprendizaje automático. Es la campana suave y simétrica que obtienes siempre que muchos efectos pequeños e independientes se suman. Dos números la definen completamente: la media μ (donde está el pico) y la varianza σ² (cuán ancha es la campana).

La fórmula tiene menos partes móviles de lo que parece. El corazón es exp(−(x−μ)²/2σ²): distancia al promedio, cuadrada, hecha negativa, para que la densidad caiga rápidamente a medida que te alejas de μ. El desorden delante es solo la constante que hace que el área sea igual a 1.

Arrastra μ para deslizar la campana hacia la izquierda/derecha y σ para ensancharla o afinarla. Un pequeño σ da un pico alto, confiado; un grande σ esparce la creencia delgadamente sobre una amplia gama.

Dónde aparece en el MLLa primera vez que una red toca a una gaussiana es antes de que comience el entrenamiento: inicialización de pesos se extrae de una normal escalada por tamaño de capa (He/Xavier init). Modelos de ruido asumen residuos gaussianos, lo cual hace que la regresión de mínimos cuadrados sea el ajuste máximo verosímil. Un VAE's espacio latente es una gaussiana a priori y el truco de reparametrización…
▶ Distribución Gaussiana
← Esperanza y Varianza (continuo)Distribuciones Continuas Clave →