변환 — 미적분학 I · Mathematics for Machine Learning

함수 하나의 모양을 알고 나면, 그와 친척뻘인 함수 가족 전체를 이해하기 위해 다시 그래프를 그릴 필요가 없습니다. 네 가지 단순한 연산이 그래프를 완전히 예측 가능한 방식으로 옮기고, 늘리고, 뒤집기 때문입니다. 이 연산들을 보는 법을 익히면 그래프 그리기가 계산이 아니라 알아보기의 문제가 됩니다.

이것이 정확히 사진 편집기가 하는 일입니다. 그림을 픽셀 단위로 다시 그리지 않습니다; 옆으로 밀거나, 더 높게 늘리거나, 수평으로 뒤집으면 같은 모양이 새로운 곳에 위치하게 됩니다. 함수를 변환하는 것은 사진 대신 그래프에 적용되는 이와 같은 한 번의 탭 편집 몇 가지와 같습니다.

기본 모양 f(x)에서 출발해 봅시다. 출력에 a를 곱하면 세로로 늘어나고, 입력에 b를 곱하면 가로로 늘어납니다. 안쪽에서 c를 빼면 오른쪽으로 이동하고, 바깥쪽에서 d를 더하면 위로 올라갑니다. 이를 모두 합치면 다음과 같습니다:

머신러닝에서의 위치이것은 비유가 아닙니다 — 배치 정규화가 문자 그대로 이 변환입니다. 배치 정규화 레이어는 정규화된 활성화 x̂를 받아 γ·x̂ + β를 출력합니다. 여기서 γ는 학습된 스케일(위의 a), β는 학습된 이동(d)입니다. 신경망은 각 활성화를 어디에 놓고 얼마나 늘릴지를 학습하는 것입니다. 활성화 함수의 모양 역시 하나의 변환입니다. «더 가파른» tanh는 곧 b > 1인 경우이고, 소프트맥스의 온도는 로짓에 작용하는 안쪽 스케일입니다.