指数と対数

第一原理からの1変数微分積分

機械学習の全体を動かす2つの関数があります:指数eˣとその逆関数である自然対数ln(x)。これらは確率、損失関数、成長と減衰の至る所に現れます。今これらに慣れておけば、後でどこでも役立ちます。

eˣの定義的な特徴は、成長率が現在の値に等しいことです — 大きいほど速く上がる。それが「指数成長」の本当の意味です:単に「速い」ではなく、自分自身に比例して成長する。特殊な数e ≈ 2.718はこれがちょうど成り立つ底です。

対数ln(x)は単にeˣを元に戻します:「eの何乗がxを与えるか?」に答えます。だからln(eˣ) = xかつe^{ln x} = x。逆関数なので、グラフはy = xの直線について鏡像です — 図で点をドラッグし、その反射がもう一方の曲線をなぞる様子を見てください。

機械学習における位置づけクロスエントロピー損失、分類の主役、は−ln(p)から作られます。pはモデルが正しいクラスに割り当てた確率です。対数がここにあるのはまさに積→和ルールのためです:データセット全体の確率は巨大な積で、lnを取ると最適化器が項ごとに微分できる和になります。「対数尤度」はまさにこのテクニックです。
▶ 指数と対数
← 直線と多項式三角関数 →