安定なsoftmaxとlog-sum-exp

第一原理からの多変数微分積分

分類器の最終層は、クラスごとに1つずつ、ロジットと呼ばれる生のスコアのベクトルを出力する。softmaxはこれらのロジットを確率に変える:決して負にならず、必ず合計が1になる数だ。ロジットが最大のクラスが確率の最大の取り分を得る。そして式が指数関数でできているため、ロジット同士のわずかな差でさえ、大きく偏った分配になり得る。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 安定なsoftmaxとlog-sum-exp
← 線形層を通る勾配有限差分と勾配チェック →