Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Накопление градиента имитирует больший пакет, когда памяти не хватает. Вместо того чтобы делать шаг после каждого микро-пакета, вы складываете градиенты нескольких микро-пакетов, а затем делаете один шаг оптимизатора.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Накопление градиента