模型究竟是如何学习的——从原始梯度下降到Adam
学习率查找器是一次简短的诊断性运行。从一个极小的学习率开始，在许多个小批量上逐步增大它，同时观察损失如何响应。
这里你并不是想完成整个训练；你要找的是模型开始学习、但损失还未变得不稳定的那个区间。
相机的曝光包围拍摄用的是同一个思路。你连续拍一组照片，从过暗到过亮，然后挑出细节最清晰的那个范围。学习率查找器对训练步骤做的是同一件事：把 η 从保守一路扫到冒进，标记出学习变得清晰锐利的位置。你可以在下面的图中亲自扮演一次手动查找器：用较小的 η 跑一次，把它调高一点，再跑一次。总有一个点，平滑的下滑会变成越冲越远、来回反弹，那正是扫描要找的爆炸边界。