Espérance

Les mathématiques de l'incertitude

L'espérance d'une variable aléatoire est sa moyenne asymptotique : la valeur vers laquelle vous convergeriez si vous répétiez l'expérience indéfiniment et faisiez la moyenne des résultats. C'est une moyenne pondérée des valeurs possibles, chacune pondérée par sa probabilité :

Pensez à la PMF comme à un ensemble de poids placés le long d'une règle ; E[X] est le point d'équilibre. Il n'a pas besoin d'être une valeur que X peut réellement prendre. Un dé équilibré a une moyenne de 3,5, qu'aucune face ne montre.

Imaginez une machine à sous dans laquelle vous insérez des pièces des milliers de fois. Sur un seul tirage, vous pouvez gagner gros ou perdre votre pièce, mais la machine a un paiement moyen fixe à long terme par partie, et ce nombre est E[X]. C'est la valeur stable vers laquelle votre moyenne se dirige au fur et à mesure que les parties s'accumulent, même si aucun tour ne tombe jamais exactement dessus.

Où cela apparaît en MLL'entraînement minimise une loss espérée E_D[L(θ)], la loss moyenne sur la distribution des données. Nous ne pouvons pas calculer cette espérance exactement, donc nous l'approximons par une moyenne sur un échantillon fini (le jeu d'entraînement), et sur un mini-batch pour chaque pas de gradient. La linéarité de l'espérance est pourquoi le gradient moyen sur un batch est un estimateur sans biais…
▶ Espérance
← Variables AléatoiresVariance →