Expectativa

A matemática da incerteza

A expectativa de uma variável aleatória é a sua média de longo prazo: o valor para o qual convergirias se repetisses a experiência indefinidamente e tirasses a média dos resultados. É uma média ponderada dos valores possíveis, cada um ponderado por quão provável é:

Pensa na PMF como um conjunto de pesos dispostos ao longo de uma régua; E[X] é o ponto de equilíbrio. Não precisa de ser um valor que X possa de facto assumir. Um dado equilibrado tem média 3.5, que nenhuma face exibe.

Imagine uma máquina de jogo que alimenta milhares de vezes. Em qualquer puxada individual pode ganhar muito ou perder a sua moeda, mas a máquina tem um pagamento médio a longo prazo fixo por jogada, e esse número é E[X]. É o valor constante para o qual a sua média rasteja à medida que as jogadas se acumulam, mesmo que nenhuma rodada individual caia exatamente nele.

Onde isto aparece no MLO treino minimiza uma loss esperada E_D[L(θ)], a loss média sobre a distribuição dos dados. Não conseguimos calcular essa expectativa exatamente, por isso aproximamo-la por uma média sobre uma amostra finita (o conjunto de treino) e sobre um mini-batch em cada passo de gradiente. A linearidade da expectativa é a razão pela qual o gradiente médio de um batch é uma estimativa não-enviesada do…
▶ Expectativa
← Variáveis AleatóriasVariância →