고계 편도함수

제1원리에서 출발하는 다변수 미적분

1차원 함수가 이계 도함수를 가지듯이, 다변수 함수는 이계 편도함수를 가집니다. 두 번 미분하는 것입니다. 새롭게 생기는 점은, 미분할 때마다 어느 변수로 미분할지 고를 수 있다는 것이며, 이들을 섞을 때 깔끔한 일이 일어납니다.

순수 이계 편도함수 ∂²f/∂x²와 ∂²f/∂y²는 각 축을 따라가는 곡률을 측정합니다. 혼합 편도함수 ∂²f/∂x∂y는 먼저 y로, 그다음 x로 미분한 것으로, 한 방향의 기울기가 다른 방향으로 움직일 때 어떻게 변하는지를 측정합니다.

1계 편도함수는 언덕의 가파름을 알려줍니다; 2계 편도함수는 당신이 이동함에 따라 그 가파름 자체가 어떻게 변하는지 알려주며, 이것이 곧 경사의 곡률입니다. 동쪽으로 걸을 때 땅이 계속 가팔라집니까, 아니면 평평해지기 시작합니까? 동쪽으로 계속 나아갈 때 동쪽 경사 ∂f/∂x의 굽음이 바로 2계 편도함수 ∂²f/∂x²이며, 해당 방향을 따른 언덕의 곡률입니다.

머신러닝에서의 위치이 대칭성 덕분에, 손실의 모든 이계 편도함수를 모은 행렬인 헤세 행렬이 대칭으로 나옵니다: Hᵢⱼ = ∂²L/∂wᵢ∂wⱼ = ∂²L/∂wⱼ∂wᵢ = Hⱼᵢ. 대칭 행렬은 (선형대수에서 배우듯) 실수 고윳값과 직교하는 고유벡터를 가지며, 바로 이 성질이 손실 곡면의 곡률을 그릇, 돔, 안장으로 깔끔하게 읽어 낼 수 있게 해 줍니다.
▶ 고계 편도함수
← 편도함수그래디언트 →