线性层的梯度

从第一性原理出发的多变量微积分

线性层把输入向量 x 送入权重矩阵 W,再加上一个偏置 b(严格来说,加了偏置之后这个映射是仿射的——线性再加一个平移,不过机器学习里普遍还是把它叫作线性层)。前向计算很短:z = Wx + b。训练还需要反向的计算:找出损失如何随每一个输入、每一个权重和每一个偏置变化。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 线性层的梯度
← 计算图稳定 Softmax 与 Log-Sum-Exp →