Jak modele naprawdę się uczą — od zwykłego spadku gradientu po Adama
Metody pierwszego rzędu korzystają z gradientów. Metody drugiego rzędu korzystają dodatkowo z krzywizny, zwykle za pośrednictwem hesjanu. Krzywizna mówi optymalizatorowi, jak sam gradient zmienia się w miarę ruchu parametrów.
Metoda Newtona wykorzystuje tę krzywiznę, aby dobrać krok, który potrafi skoczyć wprost do minimum funkcji kwadratowej. Cena za to jest taka, że we współczesnych sieciach neuronowych hesjany są ogromne.
Operator dźwigu korzysta z tabeli udźwigu, bo sam kierunek nie wystarczy. Ładunek wygina też wysięgnik, a to wygięcie decyduje, jaki ruch jest bezpieczny. Optymalizacja drugiego rzędu odczytuje to wygięcie, a nie tylko sam ciąg, zanim zdecyduje, jak daleko się ruszyć. Na rysunku wcielasz się w operatora: przesuń dwie krzywizny i obserwuj, jak powierzchnia zamienia się w misę, kopułę albo siodło. Wartości własne hesjanu to dokładnie te dwa pokrętła.