모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
손실 지형은 파라미터 공간 위에서 L(θ)가 이루는 형태입니다. 신경망에서는 이 지형이 고차원이고 비볼록입니다. 넓고 평평하게 뻗은 지대, 날카롭게 휘어진 지대, 어떤 방향으로는 오르고 다른 방향으로는 내려가는 안장점, 그리고 서로 떨어져 있는 것처럼 보이지만 흔히 알고 보면 이어져 있는 여러 개의 낮은 손실 영역이 있습니다.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 손실 지형