線形層を通る勾配

第一原理からの多変数微分積分

線形層は入力ベクトルxを重み行列Wに通し、それからバイアスbを加える(バイアスがある分、厳密には線形にシフトを加えたアフィン写像だが、MLでは慣例的に線形層と呼ぶ)。フォワード計算は短い:z = Wx + b。訓練には逆方向の計算も必要で、損失がすべての入力、すべての重み、すべてのバイアスに対してどう変化するかを求める。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 線形層を通る勾配
← 計算グラフ安定なsoftmaxとlog-sum-exp →