黎曼积分
从第一性原理出发的单变量微积分
积分回答的是导数的配套问题:不是“它变化得多快?”,而是“一共积累了多少?” 从几何上看,定积分是曲线与 x 轴之间夹住的面积。
想象一下把一个池塘的轮廓描到方格纸上并想知道它的面积。你不能用一个宽度乘以一个高度,因为岸边是弯曲的。所以你要数落在轮廓内的那些小正方形:正方形越多,网格越密,你的计数就越接近真实面积。黎曼和就是那样的计数,而积分则是当正方形缩小到无时它稳定下来的那个数字。
对于矩形,面积只是宽 × 高。但曲线的上边界是弯曲的——没有单一高度可以相乘。Bernhard Riemann 的想法是:把区域切成很薄的竖直矩形,每个矩形都窄到曲线在它上方近似平坦,把它们的面积加起来,然后使用越来越薄的切片。
在机器学习中的应用在概率中,期望就是积分。连续分布上某个量的平均值是 E[f(X)] = ∫ f(x) p(x) dx。熵是 −∫ p(x) ln p(x) dx;分布的归一化常数是积分;KL 散度也是积分。连续概率本质上就是积分。 当模型“对一个分布求平均”却不能精确积分时,它会做次优选择:Monte Carlo 估计用随机样本的平均值替代积分——这正是一种黎曼和。上面的图像就是生成模型里每个期望正在近似的东西。
▶ 黎曼积分