超参数搜索

模型究竟是如何学习的——从原始梯度下降到Adam

超参数是在被学习的参数之外设定的训练选择:学习率、批量大小、权重衰减、预热长度、dropout、模型宽度,以及其他许多设置。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 超参数搜索
← 初始化与信号尺度What Makes a Model Learn? →