İki bahis aynı ortalamayı paylaşıp tamamen farklı hissettirebilir: "+1 ya da −1" ile "+1000 ya da −1000", her ikisi de 0'a ortalanır, ama biri çılgıncadır. Varyans bu yayılmayı ölçer; X'in ortalaması μ = E[X]'ten ortalama karesel uzaklığıdır:
Kare almak sapmaları pozitif tutar (böylece birbirini götürmezler) ve büyük sapmaları daha sert cezalandırır. Orijinal birimlere geri dönmek için karekökü al: standart sapma σ = √Var(X).
Pratikte kısayol formülü daha hızlıdır, "karenin ortalaması eksi ortalamanın karesi":
Bunun ML'deki yeriBir gradyan tahmincisinin varyansı, her eğitim adımının ne kadar gürültülü olduğunu belirler. Bir mini-grup gradyanı, örnek başına gradyanların ortalamasıdır; Bienaymé gereği, n bağımsız tahminin ortalamasını almak varyansı n'ye böler, böylece gürültü standart sapmada 1/√n gibi azalır. Daha büyük grupların daha düzgün, daha düşük varyanslı adımlar vermesinin ve varyans azaltma hilelerinin eğitimi…