函数 f: Rⁿ → Rᵐ

从第一性原理出发的多变量微积分

到目前为止,输出都是一个数字。现在让输出也变成向量。函数 f: Rⁿ → Rᵐ 接收一个向量,返回一个向量:多个数字输入,多个数字输出。这正是神经网络层的形状:一个输入向量进入,经过变换后的向量离开。

理解任何向量值函数的方法,是一次读一个输出坐标。每个输出分量本身都是一个普通的标量函数 Rⁿ → R,称为分量函数。把 m 个这样的函数堆起来,就得到整个映射。

一个调音台可将几个输入旋钮同时转换为多个输出读数:轻推滑块,每个仪表都会一起响应。这就是一个函数 f: Rⁿ → Rᵐ:输入一个向量,输出一个向量。为了理解它,你一次只能读取一个仪表,因为每个输出坐标 f₁,f₂ 等等都有其自己的基于相同输入旋钮构建的常规配方。

在机器学习中的应用任何神经网络的前向传播都是向量值函数的复合。每一层都是一个 f: Rⁿ → Rᵐ:线性映射 Wx + b 后接逐元素非线性。追踪一个小的输入扰动如何逐坐标穿过这条链,正是 Jacobian(模块 3)和反向传播(模块 4)要形式化的内容。
▶ 函数 f: Rⁿ → Rᵐ
← 函数 f: Rⁿ → RRⁿ 中的极限与连续性 →