Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Các phương pháp bậc nhất dùng gradient. Các phương pháp bậc hai còn dùng cả độ cong, thường thông qua ma trận Hessian. Độ cong cho bộ tối ưu hóa biết bản thân gradient thay đổi ra sao khi các tham số di chuyển.
Phương pháp Newton dùng độ cong đó để chọn một bước có thể nhảy thẳng tới cực tiểu của một hàm bậc hai. Cái giá phải trả là các ma trận Hessian rất khổng lồ trong các mạng nơ-ron hiện đại.
Một người vận hành cần cẩu dùng bảng tải trọng vì hướng thôi là chưa đủ. Tải trọng còn làm uốn cong cần cẩu, và độ uốn đó thay đổi động tác nào là an toàn. Tối ưu hóa bậc hai đọc độ uốn, không chỉ lực kéo, trước khi quyết định di chuyển bao xa. Trong hình bạn đóng vai người vận hành: trượt hai độ cong và xem bề mặt trở thành một cái bát, một mái vòm, hay một cái yên ngựa. Các giá trị riêng của Hessian chính xác là hai núm điều khiển đó.