Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Градиентный спуск ведёт себя совершенно по-разному на округлой поверхности потерь и на вытянутой. Обусловленность измеряет эту вытянутость. Плохая обусловленность заставляет оптимизатор идти зигзагом: в одном направлении круто, в другом — полого.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Обусловленность и зигзаг