함수 f: Rⁿ → R — 미적분학 II · Mathematics for Machine Learning

함수 f: Rⁿ → R는 벡터를 입력으로 받아 하나의 숫자를 돌려줍니다. 기계학습을 움직이는 대표적인 예는 손실입니다. 네트워크의 모든 가중치를 입력하면, 지금 얼마나 잘못하고 있는지를 알려 주는 하나의 숫자가 나옵니다. 학습 전체는 결국 이 함수의 가장 낮은 지점을 찾아가는 과정입니다.

입력이 두 개일 때는 실제로 그림으로 나타낼 수 있습니다. z = f(x, y)는 하나의 곡면, 즉 xy-평면 위에 떠 있는 언덕과 골짜기의 풍경입니다. 각 (x, y)에서의 높이가 바로 함수의 값입니다.

방 안의 공기를 상상해 보세요: 어느 지점에 서든 온도계는 정확히 하나의 온도를 읽습니다. 이것은 숨겨진 형태의 함수 f: R² → R입니다: 위치 (x, y)가 들어가면, 단일 숫자(그곳의 따뜻함)가 나옵니다. 방 전체가 라디에이터 근처에서는 더 높고 창문 옆에서는 더 낮은 따뜻하고 시원한 구역들의 풍경이 됩니다.

머신러닝에서의 위치학습 중 손실 곡선이 아래로 내려가는 모습을 볼 때, 여러분은 사실 이러한 곡면 위를 걷는 한 걸음 한 걸음을 보고 있는 것입니다. 손실 L(w₁, …, wₙ)은 가중치 공간 위에서 정의된 함수 Rⁿ → R이며, 여기서 n은 수백만에서 수십억에 이릅니다. 화면에 보이는 곡선은 그 걸음을 1차원으로 비춘 그림자에 불과합니다. 연구자들이 논쟁하는 «평평한 최소 대 날카로운 최소» 그림은 말 그대로 바로 이 f의 등고선 그림이자 곡면 그림입니다.