곱과 몫의 법칙

제1원리에서 출발하는 일변수 미적분

두 함수가 곱해져 있을 때, 각 도함수를 그냥 곱해서는 안 됩니다. 솔깃한 지름길이지만 틀린 지름길입니다. 올바른 법칙은 두 인수가 동시에 변한다는 사실까지 함께 고려합니다.

너비가 f이고 높이가 g인 직사각형을 떠올려 보세요. 넓이는 f·g입니다. 두 변이 조금씩 늘어나면 넓이는 두 방향에서 함께 늘어납니다. 너비가 넓어져 생기는 띠와, 높이가 높아져 생기는 띠가 그것입니다. 그래서 답이 한 항이 아니라 두 항이 되는 것입니다.

너비와 높이가 모두 한 번에 확장되는 직사각형 정원을 상상해 보세요. 새로운 면적은 단지 하나의 띠가 아니라, 더 길어진 너비를 따라 띠 하나를 얻고 또한 더 높아진 높이를 따라 띠 하나를 얻습니다. 이것이 곱의 미분법이 두 항을 갖는 이유입니다: 변하는 두 양이 곱해질 때, 각각의 성장은 전체에 고유한 몫을 기여합니다.

머신러닝에서의 위치이 법칙들은 autograd가 조합해 쓰는 기본 구성 요소입니다. softmax 확률이나 어텐션 가중치처럼 정규화된 점수는 몫(무언가를 합으로 나눈 것)이며, 이를 미분할 때 내부적으로 몫의 법칙이 쓰입니다. 배치 정규화의 스케일링, 레이어 정규화의 표준편차 나눗셈처럼, 신경망이 학습된 한 양을 다른 양으로 나누는 곳마다 그래디언트 엔진은 바로 이 몫의 법칙을 적용합니다.
▶ 곱과 몫의 법칙
← 기본 미분 법칙연쇄 법칙 →