선형 계층을 통과하는 그래디언트

제1원리에서 출발하는 다변수 미적분

선형 계층은 입력 벡터 x를 가중치 행렬 W에 통과시킨 다음 편향 b를 더합니다(편향까지 포함하면 엄밀히는 선형에 이동을 더한 아핀 사상이지만, ML에서는 관례적으로 이것도 그냥 선형 계층이라고 부릅니다). 순방향 계산은 짧습니다: z = Wx + b. 훈련에는 역방향 계산도 필요합니다. 손실이 모든 입력, 모든 가중치, 모든 편향에 따라 어떻게 변하는지를 알아내는 계산이지요.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 선형 계층을 통과하는 그래디언트
← 계산 그래프안정적인 소프트맥스와 log-sum-exp →