응용 — 미적분학 I · Mathematics for Machine Learning

ML에서 테일러 전개가 주는 진짜 보상은 선형화입니다. 다루기 까다로운 비선형 함수를 관심 있는 점 근처의 접선으로 바꿔 주는 것입니다. 작은 범위 안에서는 선형 근사가 거의 정확하고, 선형인 대상은 분석하고 계산하고 추론하기가 훨씬 쉽습니다.

시그모이드 σ(x) = 1/(1 + e⁻ˣ)는 우리에게 익숙한, 값을 눌러 주는 비선형 함수입니다. x = 0 근처에서 기울기 ¼로 ½를 지나가므로, 그 선형 근사는 다음과 같습니다.

평평한 종이로 된 거리 지도는 둥근 지구를 한 도시 근처의 평면으로 취급합니다. 수 킬로미터 범위에서는 곡률이 너무 작아 무시할 수 있으므로, 지구가 실제로는 구형임에도 불구하고 평평한 종이 지도로 경로를 탐색하기에 충분히 정확합니다. 선형화(Linearisation)는 함수에 대해 같은 작용을 합니다: 한 점 근처에서 실제 곡선을 접선 f(x) ≈ f(0) + f′(0)·x 으로 교체하며, 이는 국소적으로 충분히 정확하고 다루기 훨씬 쉽습니다.

머신러닝에서의 위치선형화는 ML의 핵심 반사 신경 같은 것입니다. 소각 근사와 소입력 근사는 활성화 함수(시그모이드, GELU, 소프트맥스)를 작동점 근처에서 분석할 때 계산을 단순하게 해 줍니다. 신경망을 현재 가중치 주위로 선형화하면 신경 접선 커널 관점이 나오는데, 이것이 훈련 동역학을 추론하는 토대가 됩니다. 그리고 모든 일차 최적화 기법은 본질적으로 한 걸음 동안 손실의 국소적 선형 모델을 믿는 것입니다.