Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Размер пакета, обозначаемый B, меняет шум в оценке градиента. Маленький пакет даёт шумную, но дешёвую оценку. Большой пакет даёт более устойчивую оценку, но каждое обновление обходится дороже.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Масштабирование размера пакета