模型究竟是如何学习的——从原始梯度下降到Adam
优化器诊断，指的是在改动训练配方之前，先读懂这次训练的走势。损失曲线、梯度范数和验证曲线通常就能告诉你，问题出在步长、数据、尺度、过拟合，还是模型本身真正的极限。
这不是靠猜测。每种失败模式都有典型的形状：损失爆炸、损失持平不动、带噪声但仍在改善的损失、训练损失下降而验证损失上升，或者突然出现 NaN 值。
水族箱试纸是个很好的类比。浑浊的水不能靠随手乱倒化学药剂来治好，你得先测出 pH 值、氨含量和硝酸盐含量，再针对真正超标的那一项来处理。优化器诊断对训练做的正是同一件事：先测量，再针对测量结果指向的问题去改。用下面的图来校准你的眼睛：先跑一次健康的下降过程，再把 η 调大，随时重现那种不稳定、来回震荡的模式。