Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Kích thước batch, ký hiệu B, thay đổi mức nhiễu trong các ước lượng gradient. Một batch nhỏ cho một ước lượng nhiễu nhưng rẻ. Một batch lớn cho một ước lượng ổn định hơn, nhưng mỗi bước cập nhật tốn kém hơn.
Khi kích thước batch thay đổi, tốc độ học tốt nhất thường cũng thay đổi theo. Các batch lớn đôi khi có thể dùng tốc độ học lớn hơn, nhưng chúng thường cần khởi động và kiểm định cẩn thận.
Một cuộc thăm dò ngoài phòng phiếu hoạt động theo cùng cách đó. Hỏi năm cử tri cho một phỏng đoán nhiễu. Hỏi năm nghìn cử tri cho một ước lượng ổn định hơn, nhưng tốn nhiều công sức hơn. Kích thước batch chính là kích thước cuộc thăm dò cho gradient. Hiệu ứng ổn định hóa đó chính xác là điều hình bên dưới minh họa: nhấn Chạy và xem trung bình chạy của các lần tung đồng xu ổn định dần khi n tăng lên. Đổi đồng xu thành gradient của từng ví dụ và n thành B, và bạn có toàn bộ câu chuyện về kích thước batch.