모델이 실제로 학습하는 방법 — 순수 경사 하강법에서 Adam까지
혼합 정밀도 훈련은 속도와 메모리를 위해 더 작은 수 형식을 사용합니다. 모든 계산을 전체 정밀도(표준 32비트 부동소수점)로 저장하는 대신, 많은 연산이 float16이나 bfloat16을 씁니다. 이 16비트 형식들은 메모리를 절반만 차지하는 대신 정밀도가 낮아지고, float16의 경우 표현할 수 있는 크기의 범위도 더 좁아집니다.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ 혼합 정밀도와 손실 스케일링