模型究竟是如何学习的——从原始梯度下降到Adam
优化器实验室是在受控条件下比较不同优化器。使用相同的模型、数据、批量大小、调度预算和随机种子方案来运行，然后只改变优化器本身，或者优化器的某一个设置。
没有这种控制，优化器之间的比较就会变成各说各话的故事。一次跑得更快的训练，可能只是用了更好的学习率、不同的调度，或者更走运的随机种子。
赛道测试日就有这样的规则。要比较两辆车，你会尽量把赛道、轮胎、油量和天气都控制成一样的。否则你根本分不清究竟是车更快，还是条件更有利。下面的图就是一张微型实验台：每次运行都是同一个被拉长的曲面，η、β 和 κ 是你可以改动的变量。每次只改一个，运行，再比较路径。这一课的全部纪律，都浓缩在这一个小组件里了。