Esperanza

Las matemáticas de la incertidumbre

La esperanza de una variable aleatoria es su promedio a largo plazo: el valor al que convergerías si repitieses el experimento para siempre y calcularas la media de los resultados. Es un promedio ponderado de los posibles valores, cada uno ponderado por cuán probable es:

Piensa en la función de masa de probabilidad como un conjunto de pesos colocados a lo largo de una regla; E[X]es el punto de equilibrio. No necesariamente debe ser un valor que X pueda tomar realmente. Un dado justo promedia 3.5, que no aparece en ninguna cara.

Imagina una máquina tragamonedas que alimentas miles de veces. En cualquier tirada individual podrías ganar mucho o perder tu moneda, pero la máquina tiene un pago promedio a largo plazo fijo por jugada, y ese número es E[X]. Es el valor estable hacia el que se arrastra tu promedio a medida que se acumulan las jugadas, aunque ningún giro caiga exactamente en él.

Dónde aparece en el MLLa minimización del entrenamiento se refiere a una pérdida esperada, la cual es el promedio de pérdida sobre la distribución de los datos. No podemos calcular esa expectativa exactamente, por lo que la aproximamos con un promedio sobre una muestra finita (el conjunto de entrenamiento), y para cada paso del gradiente se utiliza un mini-lote. La linealidad de la esperanza es la razón por la cual el…
▶ Esperanza
← Variables AleatoriasVarianza →