Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Tích lũy gradient mô phỏng một batch lớn hơn khi bộ nhớ bị giới hạn. Thay vì thực hiện bước cập nhật sau mỗi micro-batch, bạn cộng dồn gradient từ nhiều micro-batch, rồi thực hiện một bước cập nhật của bộ tối ưu hóa.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Tích lũy gradient