Dua taruhan bisa berbagi rata-rata sama dan terasa sepenuhnya berbeda: "+1 atau −1" vs "+1000 atau −1000" keduanya rata-rata 0, tapi satu liar. Varians mengukur penyebaran itu, rata-rata jarak kuadrat X dari meannya μ = E[X]:
Mengkuadratkan menjaga deviasi positif (agar tidak saling meniadakan) dan menghukum ekskursi besar lebih keras. Untuk kembali ke unit asli, ambil akar kuadrat: deviasi standar σ = √Var(X).
Dalam praktik formula pintas lebih cepat, "mean kuadrat dikurangi kuadrat mean":
Di mana ini berlaku dalam MLVarians estimator gradien memutus seberapa noisy setiap langkah pelatihan. Gradien mini-batch adalah rata-rata gradien per-contoh; menurut Bienaymé, merata-rata n estimasi independen membagi varians dengan n, jadi noise turun seperti 1/√n dalam deviasi standar. Itulah seluruh alasan batch lebih besar member langkah lebih halus, varians lebih rendah, dan mengapa trik reduksi-varians mempercepat…