Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
I metodi del primo ordine usano i gradienti. I metodi del secondo ordine usano anche la curvatura, di solito tramite la Hessiana. La curvatura dice all'ottimizzatore come cambia il gradiente stesso mentre i parametri si muovono.
Il metodo di Newton usa quella curvatura per scegliere un passo che può saltare direttamente al minimo di una quadratica. Il prezzo da pagare è che le Hessiane sono enormi nelle reti neurali moderne.
L'operatore di una gru usa una tabella di carico perché la direzione non basta. Il carico piega anche il braccio, e quella flessione cambia quale movimento sia sicuro. L'ottimizzazione del secondo ordine legge la flessione, non solo la trazione, prima di decidere di quanto muoversi. Nella figura interpreti l'operatore: sposta le due curvature e guarda la superficie diventare una ciotola, una cupola, o una sella. Gli autovalori della Hessiana sono esattamente quelle due manopole.