模型究竟是如何学习的——从原始梯度下降到Adam
超参数是在被学习的参数之外设定的训练选择：学习率、批量大小、权重衰减、预热长度、dropout、模型宽度，以及其他许多设置。
超参数搜索，就是在不自欺欺人的前提下尝试各种配置的过程。目标不是找到一次走运的运行，而是找到一个能在验证数据上稳定发挥作用的设置。
油漆色卡能把搜索这个思路讲得很具体。你不会为了试每一种可能的颜色，就把整个房间重新粉刷一遍。你会先测试一组有结构的色卡，缩小范围，再在合适的光线下试最有希望的那几种色调。超参数搜索也是用同样的方式，一步步收窄训练选择。下面的图展示的正是给每张色卡打分的那套机制：轮换验证折，让每一个候选设置都只在它从未训练过的数据上接受评判。正是这种诚实的打分方式，把一次真正的搜索和一次单纯走运的运行区分开来。