Attesa

La matematica dell'incertezza

L'attesa di una variabile aleatoria è la sua media sul lungo periodo: il valore a cui convergeresti se ripetessi l'esperimento all'infinito facendo la media dei risultati. È una media pesata dei valori possibili, ciascuno pesato in base a quanto è probabile:

Pensa alla PMF come a un insieme di pesi disposti lungo un righello; E[X] è il punto di equilibrio. Non deve necessariamente essere un valore che X può davvero assumere. Un dado equo ha media 3,5, che nessuna faccia mostra.

Immagina una slot machine che alimenti migliaia di volte. In ogni singola giocata potresti vincere alla grande o perdere la tua moneta, ma la macchina ha una vincita media fissa a lungo termine per giocata, e quel numero è E[X]. È il valore costante verso cui la tua media si avvicina mentre le giocate si accumulano, anche se nessun singolo giro ci finisce mai esattamente sopra.

Dove si trova nel MLL'addestramento minimizza una loss attesa E_D[L(θ)], la loss media sulla distribuzione dei dati. Non possiamo calcolare quell'attesa esattamente, quindi l'approssimiamo con una media su un campione finito (il training set), e su un mini-batch per ciascun passo del gradiente. La linearità dell'attesa è il motivo per cui il gradiente medio su un batch è una stima non distorta del vero gradiente.
▶ Attesa
← Variabili AleatorieVarianza →