테일러 다항식은 복잡한 함수를 어떤 점 근처에서 간단한 다항식으로 근사하는 방법입니다. 바로 그 점에서 함수의 값, 기울기, 곡률 등에 일치하도록 만들어 줍니다. 이것들을 충분히 맞춰 주면, 다항식이 그 부근에서 곡선을 바싹 끌어안게 됩니다.
이 아이디어는 층층이 쌓입니다. 상수항은 높이를 맞춥니다. 여기에 일차항을 더하면 기울기까지 맞습니다(이것이 접선입니다). 이차항을 더하면 곡률을 맞춥니다. 새 항을 하나씩 더할 때마다 도함수가 하나씩 더 고정됩니다.
그림에서 항의 개수를 슬라이드해 보세요. 저차 다항식이 곡선에서 벗겨져 나가는 동안, 고차 다항식은 더 넓은 범위에 걸쳐 곡선에 매달려 있는 모습을 볼 수 있습니다.
머신러닝에서의 위치테일러 전개는 최적화 어디에나 등장합니다. 경사 하강법은 일차 테일러 항을 사용해 기울기를 따라 한 걸음씩 나아갑니다. 뉴턴 방법은 이차 항을 사용해 포물선을 맞추고 그 최솟값으로 곧장 건너뜁니다. 최적화 기법들의 위계 전체가 결국 «테일러 항을 몇 개나 유지할 것인가?»로 귀결됩니다. 그리고 비선형 함수를 작동점 근처에서 선형화하는 것이 곧 신경망의 국소적 행동을 분석하는 방법입니다.