편도함수 — 미적분학 II · Mathematics for Machine Learning

다변수 미적분의 대부분은 하나의 아이디어가 떠받칩니다. 여러 변수의 함수를 미분하려면, 한 번에 한 변수만 바꾸고 나머지는 모두 고정하라는 것입니다. y를 그대로 두고 x만 흔들면서 f가 어떻게 반응하는지 묻습니다. 그 변화율이 바로 편도함수 ∂f/∂x입니다.

구부러진 기호 ∂(«편»)이 새로 등장하는 유일한 표기입니다. 나머지는 코스 I에서 배운 미분(거듭제곱 법칙, 곱의 법칙, 연쇄 법칙)을, 고정한 변수를 마치 상수처럼 취급하며 그대로 적용하는 것입니다.

언덕 위에 서면 느끼는 경사는 당신이 어느 쪽을 향하고 있는지에 따라 다릅니다. 남북 위치를 고정하고 정동쪽으로 걸어가면, 발밑의 가파름은 편도함수 ∂f/∂x입니다. 방향을 틀어 동서 위치를 고정하고 정북쪽으로 걸어가면, 다른 경사인 ∂f/∂y를 느낍니다. 각각의 편도함수는 한 방향을 고정하고 다른 방향을 따른 상승 또는 하강을 보고합니다.

머신러닝에서의 위치네트워크의 가중치를 하나만 남기고 모두 고정한 다음, 그 하나의 가중치를 살짝 흔들 때 손실이 어떻게 움직이는지 묻는다고 상상해 보세요. 그 답이 바로 편도함수 ∂L/∂wᵢ입니다. 부호는 손실을 낮추려면 가중치를 어느 쪽으로 밀어야 하는지 알려 주고, 크기는 손실이 그 가중치에 얼마나 민감한지 알려 줍니다. 가중치마다 하나씩 모으면, 다음 몇 레슨에서 조립하게 될 그래디언트가 됩니다.