Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Методы первого порядка используют градиенты. Методы второго порядка используют ещё и кривизну, обычно через гессиан. Кривизна говорит оптимизатору, как меняется сам градиент по мере движения параметров.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Методы второго порядка