도함수는 하나의 질문에 답합니다. 함수가 어느 한 순간에 얼마나 빠르게 변하는가? 기하학적으로 보면, 한 점에서의 곡선 기울기, 즉 그 점에서 곡선에 살짝 맞닿는 접선의 기울기입니다.
달리는 자동차의 속도계를 생각해 보세요. 한 시간 동안의 평균 속도는 총 거리를 총 시간으로 나눈 것이지만, 바늘은 더 날카로운 것을 보여줍니다: 바로 이 순간 얼마나 빨리 달리고 있는지 정확히 알려줍니다. 미분은 특정 구간에 번져 있는 것이 아니라, 단일 순간에 고정된 변화율인 그 바늘과 같습니다.
그런데 여기에 한 가지 수수께끼가 있습니다. 기울기를 구하려면 두 점이 필요합니다. 즉 높이 변화를 수평 변화로 나누어야 합니다. 점이 하나뿐이면 어디서부터 잴지 기준이 없습니다. 그렇다면 외딴 한 점이 어떻게 기울기를 가질 수 있을까요? 그 비결은 한 점에 슬그머니 다가가는 것입니다.
머신러닝에서의 위치모든 신경망을 학습시키는 그래디언트는 정확히 이 도함수를 손실에 적용한 것입니다. ∂L/∂w라는 양은 가중치 w를 아주 조금 움직일 때 손실의 기울기입니다. 그 부호는 손실을 줄이는 방향을 알려 주고, 크기는 손실이 그 가중치에 얼마나 민감한지를 알려 줍니다. 학습이란 결국 이 극한을 계산하고(autograd 엔진이 h를 줄일 필요 없이 정확하게 대신 계산해 줍니다), 가중치를 내리막 방향으로 한 걸음 옮기는 일입니다. 딥러닝이라는 분야 전체가 바로 이 하나의 극한 위에 세워져 있습니다.