Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Gradient descent full-batch dùng mọi ví dụ huấn luyện để tính từng bước cập nhật; gradient descent ngẫu nhiên (stochastic) đi tới thái cực ngược lại và chỉ dùng một ví dụ duy nhất. Gradient descent minibatch nằm ở giữa với một batch nhỏ, và sự thỏa hiệp đó chính là thứ mà học sâu thực sự vận hành trên đó.
Một gradient minibatch là ước lượng nhiễu của gradient đầy đủ. Nó rẻ hơn và thường hữu ích hơn gradient đầy đủ chính xác vì nó cho phép nhiều lượt cập nhật nhanh, và nhiễu của nó có thể giúp ích cho việc khám phá.
Kiểm tra chất lượng ngũ cốc dùng cùng sự thỏa hiệp đó. Mở hết mọi hộp thì chính xác nhưng chậm. Kiểm tra một hộp thì nhiễu. Kiểm tra một khay hộp cho ra một ước lượng hữu ích nhanh chóng. Các minibatch chính là những khay đó. Hình bên dưới làm cho thống kê trở nên hiện hữu: nhấn Chạy và xem một trung bình chạy ổn định dần khi có thêm mẫu. Một gradient minibatch cũng là cùng loại đối tượng, một trung bình ổn định dần khi batch lớn lên.