模型究竟是如何学习的——从原始梯度下降到Adam
正则化通常被介绍成加到损失上的一个惩罚项。从几何上看，它改变的是哪些参数向量被认为是“便宜”的，哪些是“昂贵”的。这会改变整个优化问题的形状。下面反复出现两个符号：R(θ) 代表惩罚项，λ（lambda）设定它的权重有多强。
两种最常见的惩罚表现不同：L2 会平滑地抑制大权重，而 L1 有棱角，可以把某些权重恰好推到零。
打包一个有严格重量限制的行李箱也是同样的形状。每件物品或许都有用，但重的物品会很快用掉重量预算。正则化让大的参数选择消耗更多预算，因此模型只有在收益足够大的时候，才会保留它们。图中说明了为什么这个预算值得拥有：随着模型灵活度增加，训练误差会持续下降，而验证误差最终会重新抬头。正则化就是那个能在拐点到来之前，把灵活度约束住的旋钮。