모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
볼록 손실은 강력한 보장을 갖습니다. 모든 국소 최소가 곧 전역 최소라는 것입니다. 그래서 최적화가 개념적으로 깔끔해집니다. 고전적인 ML 목적함수 다수는 볼록이지만, 딥 네트워크는 보통 그렇지 않습니다.
그럼에도 볼록성은 배울 가치가 있습니다. 기준이 되는 사례를 제공하기 때문입니다. 나쁜 국소 함정도, 안장으로 인한 복잡함도, 심한 지형의 함정도 없다면 최적화가 어떤 모습일지를 알려 줍니다.
위성 안테나는 신호 곡면이 매끄럽고 봉우리가 하나뿐일 때 깔끔한 조준 방향 하나만 가집니다. 구겨진 포일에는 국소적으로 빛을 반사할 수 있는 작고 반짝이는 면이 수없이 많습니다. 볼록 최적화는 안테나에 가깝고, 딥 네트워크 훈련은 포일에 가깝습니다. 아래 그림은 볼록 곡선을 정의하는 검사를 보여 줍니다. 두 끝점을 슬라이드하며, 그 사이를 잇는 직선 현이 결코 곡선 아래로 내려가지 않는다는 사실을 확인해 보세요.