지수와 로그

제1원리에서 출발하는 일변수 미적분

머신러닝에서 전체 무대를 이끄는 두 함수가 있습니다. 지수함수 eˣ와 그 역함수인 자연로그 ln(x)입니다. 이 둘은 확률에도, 손실 함수에도, 성장과 감쇠에도 등장합니다. 지금 익숙해 두면 나중에 어디에서나 그 덕을 봅니다.

eˣ를 규정하는 특징은 성장 속도가 현재 값과 같다는 것입니다. 즉 값이 클수록 더 빠르게 올라갑니다. 이것이 «지수 성장»의 진짜 의미입니다. 단순히 «빠르다»는 것이 아니라, 자기 자신에 비례하여 성장한다는 뜻이죠. 특별한 수 e ≈ 2.718은 바로 이 성질이 정확히 성립하는 밑입니다.

로그 ln(x)는 단순히 eˣ를 되돌립니다. «e를 몇 제곱하면 x가 되는가?»라는 질문에 답하는 것이죠. 그래서 ln(eˣ) = x이고 e^{ln x} = x입니다. 둘이 서로 역함수이므로 두 그래프는 직선 y = x에 대한 거울 이미지가 됩니다. 그림에서 점을 드래그하면서 그 반사상이 다른 곡선을 그려 내는 모습을 살펴보세요.

머신러닝에서의 위치분류의 주력 도구인 교차 엔트로피 손실은 −ln(p)로 구성됩니다. 여기서 p는 모델이 정답 클래스에 부여한 확률입니다. 여기에 로그가 들어가는 이유는 정확히 곱-합 규칙 때문입니다. 데이터셋 전체의 확률은 거대한 곱인데, 여기에 ln을 취하면 최적화기가 항별로 미분할 수 있는 합으로 바뀝니다. «로그 가능도»가 바로 이 요령입니다.
▶ 지수와 로그
← 직선과 다항식삼각 함수 →