모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
초기 스케일이 잘못되면 최적화는 시작하기도 전에 실패할 수 있습니다. 가중치가 너무 작으면 신호와 그래디언트가 사라질 수 있습니다. 가중치가 너무 크면 활성값과 그래디언트가 폭발하거나 포화될 수 있습니다.
초기화는 가중치의 시작 분포를 고르는 일로, 신호의 크기가 레이어를 거쳐 이동하는 동안 대략 안정적으로 유지되게 합니다. 자비에 초기화와 He 초기화가 흔히 쓰이는 두 가지 규칙입니다.
무대 조명은 적절한 밝기에서 시작해야 합니다. 너무 어두우면 배우들이 사라져 버리고, 너무 밝으면 장면이 하얗게 날아가 버립니다. 초기화는 신호의 시작 밝기를 정해서, 각 레이어가 유용한 정보를 앞뒤로 전달할 수 있게 합니다. 아래 그림은 이 핵심적인 위험을 순수한 수학으로 보여 줍니다. 매 레이어마다 대략 같은 계수 r이 곱해지는 신호는 등비수열입니다. r을 1보다 살짝 아래나 위로 슬라이드해 보며, 여러 레이어가 그것에 무슨 일을 하는지 지켜보세요. 침묵이거나 폭발입니다. 초기화는 그 계수를 1 근처에 붙잡아 두기 위해 존재합니다.