Schedule & Warmup

Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam

Learning rate yang tetap jarang menjadi yang terbaik untuk keseluruhan run training. Training di awal bisa menangani pergerakan yang lebih besar karena parameter masih jauh dari setelan yang berguna. Training di kemudian hari sering butuh pergerakan yang lebih kecil agar bisa mengendap.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.