야코비안

제1원리에서 출발하는 다변수 미적분

출력도 벡터일 때, 즉 함수 f: Rⁿ → Rᵐ에서는 그래디언트 하나만으로는 부족합니다. 모든 출력에 대한 모든 입력의 편도함수가 필요합니다. 이를 모두 행렬로 쌓으면 야코비안 J, 곧 벡터값 사상의 완전한 일계 도함수가 됩니다.

J의 i번째 행은 i번째 출력의 그래디언트입니다. 따라서 야코비안은 출력 좌표마다 하나씩, 그래디언트를 쌓아 놓은 것입니다. 그 형태는 m × n입니다. 행의 수는 출력의 개수이고, 열의 수는 입력의 개수입니다.

모든 출력 채널이 모든 입력 노브에 반응하는 음향 엔지니어의 믹싱 데스크를 생각해 보세요. 야코비안은 그 민감도 표를 작성한 것입니다: 각 항목은 하나의 입력 노브를 살짝 움직일 때 하나의 출력이 얼마나 변하는지를 나타냅니다. 가로로 행을 읽으면 단일 출력을 움직이는 모든 요소를 볼 수 있고, 세로로 열을 읽으면 하나의 노브가 제어하는 모든 요소를 볼 수 있습니다.

머신러닝에서의 위치한 층의 야코비안은 입력에 가해진 작은 섭동이 출력을 어떻게 바꾸는지, 즉 그 층이 국소적으로 어떻게 늘리고 줄이는지를 말해 줍니다. 역전파는 이러한 층별 야코비안을 차례로 곱하는 것입니다(다음 모듈). 그래디언트 소실 또는 폭발을 걱정할 때, 사실은 이 층별 야코비안의 곱이 0으로 줄어들거나 폭발하는 것을 걱정하는 것입니다.
▶ 야코비안
← 선형 근사야코비안 기하학 →