指数函数与对数

从第一性原理出发的单变量微积分

机器学习中有两个函数贯穿始终:指数函数 eˣ 和它的反函数,自然对数 ln(x)。它们出现在概率、损失函数、增长和衰减中。现在熟悉它们,后面到处都会有回报。

eˣ 的定义性特征是:它的增长率等于它当前的值——它越大,上升得越快。这才是“指数增长”的真正含义:不只是“快”,而是按自身比例增长。特殊数 e ≈ 2.718 正是让这件事精确成立的底数。

对数 ln(x) 只是撤销 eˣ:它回答“e 的多少次方等于 x?”所以 ln(eˣ) = x 且 e^{ln x} = x。因为它们互为反函数,它们的图像是关于直线 y = x 的镜像——拖动图中的点,观察它的反射如何画出另一条曲线。

在机器学习中的应用交叉熵损失是分类任务的核心工具,它由 −ln(p) 构成,其中 p 是模型分给正确类别的概率。这里使用对数,正是因为乘积变和的规则:整个数据集的概率是一个巨大的乘积,而取 ln 会把它变成一个和,优化器就能逐项求导。“对数似然”正是这个技巧。
▶ 指数函数与对数
← 直线与多项式三角函数 →