Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Diagnostik optimizer berarti membaca hasil pelatihan sebelum mengubah resep pelatihan. Kurva loss, norma gradien, dan kurva validasi biasanya memberi tahu Anda apakah masalahnya ukuran langkah, data, skala, overfitting, atau batas pemodelan yang nyata.
Ini bukan tebak-tebakan. Setiap pola kegagalan punya bentuk khasnya sendiri: loss yang meledak, loss yang datar, loss yang berisik namun membaik, loss pelatihan yang turun sementara loss validasi naik, atau nilai NaN yang muncul tiba-tiba.
Strip uji akuarium memberi gambaran yang berguna. Anda tidak memperbaiki air keruh dengan menuangkan bahan kimia sembarangan. Anda menguji pH, amonia, dan nitrat terlebih dahulu, lalu menangani bacaan yang benar-benar buruk. Diagnostik optimizer melakukan hal yang sama untuk pelatihan: ukur dulu, baru ubah hal yang ditunjukkan pengukuran itu. Gunakan gambar untuk mengkalibrasikan mata Anda. Jalankan sekali untuk penurunan yang sehat, lalu naikkan η dan reproduksi sesuka hati pola tak stabil yang memantul-mantul.