Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Early stopping menggunakan performa validasi untuk memutuskan kapan menghentikan pelatihan. Jika loss validasi berhenti membaik cukup lama, Anda menyimpan checkpoint terbaik dan berhenti. Kemajuan di sini dihitung dalam epoch: satu epoch adalah satu putaran penuh melalui data pelatihan, dan validasi biasanya diperiksa setelah setiap putaran.
Ini sekaligus penghemat komputasi dan regularizer. Ini mencegah model terus menyesuaikan diri dengan set pelatihan setelah performa validasi mulai memburuk.
Pemanggang roti memberi insting yang tepat. Mengeluarkan roti terlalu cepat membuatnya pucat. Menunggu terlalu lama membuatnya gosong. Anda mengawasi roti itu dan berhenti saat warnanya terbaik, bukan saat elemen pemanas telah menyala selama mungkin. Gambar di bawah menunjukkan dari mana data "pengawasan" itu berasal: sisihkan sebagian data pelatihan, atau rotasikan fold seperti yang ditunjukkan, sehingga model dinilai pada contoh yang tidak pernah ia sesuaikan. Early stopping membaca sinyalnya persis dari potongan yang disisihkan itu.