Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Adam объединяет две идеи: импульс для среднего градиента и масштабирование в духе RMSProp для среднего квадрата градиента. Затем он исправляет раннее смещение, поскольку эти скользящие средние стартуют с нуля.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Adam