도함수를 매번 극한 정의로 계산하자면 무척 지칩니다. 다행히 몇 가지 법칙만 알면 거의 모든 함수를 한눈에 미분할 수 있습니다. 이 법칙들을 익히고 나면 일반적인 함수에 대해서는 다시 극한을 들출 일이 없습니다.
가장 자주 쓰는 주력 도구입니다. 거듭제곱을 미분하려면 지수를 앞으로 내리고 지수를 1만큼 줄이면 됩니다.
차의 속도를 손으로 측정하는 것은 거리를 표시하고 초시계로 시간을 재는 방식으로 가능하지만 고통스럽게 느립니다. 바퀴에 연결된 속도계는 동일한 답을 즉각적으로 알려줍니다. 미분 규칙은 연결된 지름길과 같습니다: 매번 극한 정의를 억지로 통과하는 대신, 공식에서 기울기를 직접 읽어냅니다.
머신러닝에서의 위치모든 프레임워크의 autograd 엔진에는 이 법칙들이 내장되어 있습니다. .backward()를 호출하면, 거듭제곱 법칙과 합의 법칙, 표준 함수의 도함수(그리고 다음 모듈에서 다룰 연쇄 법칙)가 수백만 개의 연산에 자동으로 적용됩니다. 이 법칙들을 손으로 직접 다룰 줄 알면, 그래디언트의 정상 여부를 점검하고, 직접 만든 레이어를 디버깅하며, 손실의 그래디언트를 종이 위에서 유도할 수 있습니다.