모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
1차 방법은 그래디언트를 사용합니다. 2차 방법은 여기에 더해 곡률도 사용하며, 보통 헤세 행렬을 통해서입니다. 곡률은 파라미터가 움직일 때 그래디언트 자체가 어떻게 변하는지를 최적화기에 알려 줍니다.
뉴턴법은 그 곡률을 이용해서 이차함수의 최소점으로 곧장 뛰어들 수 있는 걸음을 고릅니다. 그 대가는 현대 신경망에서 헤세 행렬이 어마어마하게 크다는 것입니다.
크레인 조작자는 하중표를 씁니다. 방향만으로는 충분하지 않기 때문입니다. 짐은 붐을 휘게 만들기도 하고, 그 휘어짐이 어떤 움직임이 안전한지를 바꿉니다. 2차 최적화는 얼마나 움직일지 정하기 전에, 단순한 당김뿐 아니라 그 휘어짐도 읽습니다. 그림에서는 당신이 조작자가 됩니다. 두 곡률을 슬라이드하며, 곡면이 그릇, 돔, 또는 안장으로 바뀌는 모습을 지켜보세요. 헤세 행렬의 고윳값이 바로 그 두 손잡이입니다.