函数变换
从第一性原理出发的单变量微积分
一旦你知道一个函数的形状，就不需要重新画图来理解它的一整族亲戚。四种简单操作会以完全可预测的方式移动、拉伸和翻转图像。学会看出它们之后，画图就变成识别，而不是算术。
这正是照片编辑器所做的事情。你绝不会逐像素重画图片；你要么将它侧向微调，要么拉伸得更高，要么水平翻转，相同的形状便落在一个新的位置。变换一个函数是将这同一套一键编辑操作应用于图表而非照片。
从基础形状 f(x) 开始：把输出乘以 a 会在竖直方向拉伸；把输入乘以 b 会在水平方向拉伸或压缩；在内部减去 c 会向右平移；在外部加上 d 会向上平移。合在一起：
在机器学习中的应用这不是类比——批归一化就是字面上的这种变换。一个 batch-norm 层接收归一化激活 x̂，并输出 γ·x̂ + β，其中 γ 是学到的缩放（上面的 a），β 是学到的平移（上面的 d）。网络会学习把每个激活放在哪里、拉伸多少。 激活函数的形状本身也是一种变换：“更陡”的 tanh 只是 b > 1，而 softmax 中的温度就是对 logits 的内部缩放。
▶ 函数变换