简述:函数的向量空间
从第一性原理出发的单变量微积分
函数的行为像向量。你已经知道可以把两个箭头相加,也可以用一个数拉伸箭头。对函数也可以做完全相同的两件事,而且你知道的许多向量知识会直接迁移过来。
要相加两个函数,就逐点相加:在每个输入 x 处,新函数的输出就是两个输出的和。要用数字 c 缩放一个函数,就把每个输出都乘以 c。正是这两个操作让某个对象成为“向量空间”。
想象两条音轨同时播放:一条低音线和一条主旋律。要混合它们,你在每个时刻将这两个波形相加,就像逐点将函数相加一样。而将一条音轨的音量旋钮转到 70%,仅仅是在每一个瞬间将该函数缩放了 0.7 倍。混合和音量就是加法和标量乘法,这两个操作使函数的行为表现得像向量一样。
在机器学习中的应用线性层输出一个基特征的加权和:正是“c₁·f₁ + c₂·f₂ + …”,其中权重是学出来的。Fourier 特征、多项式特征以及网络的隐藏单元,都是可以组合起来张成函数空间的基。当人们说网络是“通用逼近器”时,意思是它的积木张成了足够丰富的函数空间,能接近几乎任何目标。
▶ 简述:函数的向量空间