Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Gradyan birikimi, bellek sınırlıyken daha büyük bir partiyi simüle eder. Her mikro-partiden sonra adım atmak yerine, birkaç mikro-partiden gelen gradyanları toplarsın, sonra tek bir optimizer adımı atarsın.
Etkin parti boyutu, mikro-parti boyutu çarpı birikim adımlarının sayısıdır. Bu, küçük bir GPU'nun daha büyük bir partide eğitilmiş gibi davranmasına olanak tanır.
Bir yağmur fıçısı fikri yakalar. Küçük bir bardak bütün bahçeyi tek seferde sulayamaz, bu yüzden birkaç bardağı bir fıçıya doldurursun, sonra fıçı miktarını kullanırsın. Gradyan birikimi, bir güncellemeden önce birkaç küçük gradyan katkısını toplar. Aşağıdaki figür tam olarak bu süreçtir: her yeni terim bir bardaktır, yükselen çubuklar da fıçının toplamına doğru dolmasıdır. Gradyan birikimi, tek bir adım olarak bozdurduğun bir gradyan kısmi toplamıdır.