超參數搜索

模型究竟是如何學習的,從原始梯度下降法到Adam

超參數是在被學習的參數之外設定的訓練選擇:學習率、批量大小、權重衰減、預熱長度、dropout、模型寬度,以及其他許多設置。

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ 超參數搜索
← 初始化與信號尺度