稳定 Softmax 与 Log-Sum-Exp

从第一性原理出发的多变量微积分

分类器的最后一层会产生一个原始分数向量,叫作 logits,每个类别一个。softmax 把这些 logits 变成概率:数值永远不为负,并且总和恰好是 1。logit 最大的类别得到最大的概率份额,而且因为公式是由指数构建的,即使 logits 之间只有很小的差距,也可能变成极不均衡的分配。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 稳定 Softmax 与 Log-Sum-Exp
← 线性层的梯度有限差分与梯度检验 →