함수 f: Rⁿ → Rᵐ

제1원리에서 출발하는 다변수 미적분

지금까지 출력은 하나의 숫자였습니다. 이제 출력도 벡터로 키워 봅시다. 함수 f: Rⁿ → Rᵐ는 벡터를 입력으로 받아 벡터를 돌려줍니다. 여러 숫자가 들어가고 여러 숫자가 나오는 것입니다. 이것이 바로 신경망 층의 정확한 형태입니다. 입력 벡터가 들어가서 변환된 벡터가 나옵니다.

임의의 벡터값 함수를 이해하는 방법은 출력 좌표를 하나씩 읽는 것입니다. 각 출력 성분은 그 자체가 평범한 스칼라 함수 Rⁿ → R이며, 이를 성분 함수라고 부릅니다. 이러한 성분 함수 m개를 쌓으면 전체 사상이 완성됩니다.

믹싱 데스크는 몇 개의 입력 다이얼을 여러 개의 출력 판독값으로 한 번에 바꿉니다: 슬라이더를 살짝 움직이면 모든 미터가 함께 반응합니다. 그것이 함수 f: Rⁿ → Rᵐ입니다: 입력 벡터가 들어가고, 출력 벡터가 나옵니다. 각 출력 좌표 f₁, f₂ 등은 동일한 입력 다이얼로 만들어진 고유하고 평범한 레시피이므로, 이를 이해하려면 한 번에 하나의 미터만 읽으면 됩니다.

머신러닝에서의 위치모든 신경망의 순전파는 벡터값 함수들의 합성입니다. 각 층은 하나의 f: Rⁿ → Rᵐ, 즉 선형 사상 Wx + b 다음에 원소별 비선형성을 적용한 것입니다. 작은 입력 변화가 이 사슬을 따라 좌표마다 어떻게 퍼져 나가는지를 추적하는 것이, 바로 야코비안(모듈 3)과 역전파(모듈 4)가 형식화하게 될 내용입니다.
▶ 함수 f: Rⁿ → Rᵐ
← 함수 f: Rⁿ → RRⁿ에서의 극한과 연속성 →