Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Методите от първи ред използват градиенти. Методите от втори ред използват и кривина, обикновено чрез Хесиана. Кривината казва на оптимизатора как се променя самият градиент, докато параметрите се движат.
Методът на Нютон използва тази кривина, за да избере стъпка, която може да скочи директно към минимума на квадратична функция. Цената е, че Хесианите са огромни в съвременните невронни мрежи.
Операторът на кран използва товарна таблица, защото само посоката не е достатъчна. Товарът също огъва стрелата, а това огъване променя кое движение е безопасно. Оптимизацията от втори ред отчита огъването, не само дърпането, преди да реши колко далеч да се движи. Във фигурата вие сте операторът: плъзнете двете кривини и гледайте как повърхността става купа, купол или седло. Собствените стойности на Хесиана са точно тези две ключета.