Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Полнопакетный градиентный спуск использует все обучающие примеры для вычисления каждого обновления; стохастический градиентный спуск идёт в противоположную крайность и использует всего один. Мини-пакетный градиентный спуск находится посередине, беря небольшой пакет, и именно на этом компромиссе на самом деле работает глубокое обучение.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Стохастический и мини-пакетный градиентный спуск