종합하기 — 미적분학 I · Mathematics for Machine Learning

이제 스케치 프로토콜을 함수족 전체에 적용해 봅시다. 여기서 목표는 정밀한 정확도가 아니라 정성적인 형태를 읽어 내는 것입니다. 양 끝이 어느 쪽으로 가는지, 봉우리가 몇 개인지, 어디에서 발산하는지를 파악하면 됩니다. 몇 가지 빠른 확인만으로도 대개 실루엣이 드러납니다.

다항식에서는 최고차항이 양 끝의 행동을 결정합니다. 차수가 홀수이고 선행 계수가 양수이면 왼쪽 아래에서 오른쪽 위로 향하고(x³처럼), 차수가 짝수이고 선행 계수가 양수이면 양 끝이 모두 위로 향합니다(x²처럼). 전환점의 개수는 많아야 차수보다 하나 적습니다.

함수를 그리는 것은 처음부터 끝까지 레시피를 따르는 것과 같습니다. 소금 알갱이 하나하나를 모두 맛보지는 않습니다; 여러분이 이미 배운 정해진 순서의 단계들을 진행합니다 — 양끝을 확인하고, 전환점을 찾고, 근을 표시합니다 — 그러면 요리의 형태가 갖춰집니다. 여러분이 앞서 연습한 각각의 단계가 레시피의 한 줄이며, 그것들을 순서대로 읽어나가는 것이 여러분에게 완성된 윤곽을 제공합니다.

머신러닝에서의 위치함수의 실루엣을 한눈에 알아보는 능력은 곧 활성화 함수와 손실 함수를 추론하는 방법입니다. 1/(x²+1)의 봉우리는 매끄러운 어텐션/가중치 커널의 형태이고, 시그모이드의 S자 곡선, 이차 손실의 양 끝이 올라간 그릇 모양, 홀수 차수 비선형 함수의 왼쪽 아래·오른쪽 위 형태가 모두 그러합니다. 형태를 안다는 것은 숫자를 대입하지 않고도 극단에서 함수가 어떻게 행동하는지를 안다는 뜻입니다.