간략: 함수의 벡터 공간 — 미적분학 I · Mathematics for Machine Learning

함수는 벡터처럼 행동합니다. 두 화살표를 더하거나 화살표를 어떤 수만큼 늘릴 수 있다는 것은 이미 알고 있죠. 함수에도 똑같은 두 가지 일을 할 수 있으며, 벡터에 대해 알고 있는 거의 모든 것이 그대로 함수에 적용됩니다.

두 함수를 더할 때는 점별로 더합니다. 모든 입력 x에서 새 함수의 출력은 두 함수 출력의 합이 됩니다. 함수를 어떤 수 c만큼 스케일할 때는 모든 출력에 c를 곱합니다. 바로 이 두 연산이 어떤 대상을 «벡터 공간»으로 만드는 조건입니다.

두 개의 오디오 트랙이 동시에 재생된다고 생각해 보세요: 베이스라인과 멜로디. 이들을 혼합(mix)하려면 매 순간의 두 파형을 더해야 하는데, 이는 함수를 점별로 더하는 것과 정확히 같습니다. 그리고 한 트랙의 볼륨 조절기를 70%로 돌리는 것은 매 순간 그 함수를 0.7 로 배율(scaling)하는 것일 뿐입니다. 혼합과 볼륨은 덧셈과 스칼라 곱셈이며, 이 두 가지 동작이 함수를 벡터처럼 행동하게 만듭니다.

머신러닝에서의 위치선형 레이어는 기저 특성의 가중 합을 출력합니다. 학습된 가중치를 써서 정확히 «c₁·f₁ + c₂·f₂ + …»을 계산하는 것이죠. 푸리에 특성, 다항 특성, 그리고 신경망의 은닉 유닛은 모두 함수의 공간을 생성하기 위해 조합하는 기저입니다. 신경망을 «범용 근사기»라고 부르는 것은, 그 기본 구성 요소들이 거의 무엇에든 가까이 다가갈 만큼 충분히 풍부한 함수 공간을 생성한다는 뜻입니다.