Phương sai — Xác suất · Mathematics for Machine Learning

Hai vụ cá cược có thể có cùng giá trị trung bình mà cảm giác lại hoàn toàn khác nhau: "+1 hoặc −1" so với "+1000 hoặc −1000" đều có trung bình bằng 0, nhưng một bên thì cực kỳ rủi ro. Phương sai đo độ phân tán, tức bình phương khoảng cách trung bình của X so với giá trị trung bình của nó μ = E[X]:

Việc bình phương giữ cho các độ lệch luôn dương (nên chúng không triệt tiêu nhau) và làm cho những lần lệch lớn bị phạt nặng hơn. Để quay về đơn vị gốc, hãy lấy căn bậc hai: độ lệch chuẩn σ = √Var(X).

Trong thực hành, công thức rút gọn sau tính nhanh hơn — "trung bình của bình phương trừ đi bình phương của trung bình":

Vị trí của nó trong MLPhương sai của ước lượng gradient quyết định mỗi bước huấn luyện nhiễu đến mức nào. Gradient của một lô nhỏ là trung bình của các gradient trên từng mẫu; theo đẳng thức Bienaymé, lấy trung bình n ước lượng độc lập sẽ chia phương sai cho n, nên nhiễu giảm theo 1/√n ở thang độ lệch chuẩn. Đó chính là toàn bộ lý do các lô lớn hơn cho ra các bước mượt hơn, nhiễu thấp hơn, và lý do các kỹ thuật giảm…