Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
RMSProp подстраивает размер шага отдельно для каждого параметра. Он отслеживает скользящее среднее квадратов градиентов, а затем делит градиент на корень из этого среднего.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ RMSProp