Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Birinci mertebeden yöntemler gradyanları kullanır. İkinci mertebeden yöntemler ise genellikle Hessian aracılığıyla eğriliği de kullanır. Eğrilik, parametreler hareket ettikçe gradyanın kendisinin nasıl değiştiğini optimize ediciye söyler.
Newton yöntemi, bu eğriliği kullanarak ikinci dereceden bir fonksiyonun minimumuna doğrudan atlayabilecek bir adım seçer. Bedeli, modern sinir ağlarında Hessian'ların devasa olmasıdır.
Bir vinç operatörü bir yük çizelgesi kullanır çünkü yön yeterli değildir. Yük aynı zamanda bomu büker ve bu bükülme hangi hareketin güvenli olduğunu değiştirir. İkinci mertebeden optimizasyon, ne kadar hareket edeceğine karar vermeden önce yalnızca çekişi değil bükülmeyi de okur. Şekilde operatörü sen oynuyorsun: iki eğriliği kaydır ve yüzeyin bir kâseye, bir kubbeye ya da bir eyere dönüşmesini izle. Hessian'ın özdeğerleri tam olarak bu iki düğmedir.