Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Optimisasi bisa gagal sebelum dimulai jika skala awalnya salah. Jika bobot terlalu kecil, sinyal dan gradien bisa menghilang. Jika bobot terlalu besar, aktivasi dan gradien bisa meledak atau jenuh (saturate).
Inisialisasi memilih distribusi awal untuk bobot sehingga ukuran sinyal tetap kira-kira stabil saat bergerak melalui layer-layer. Inisialisasi Xavier dan He adalah dua aturan yang umum digunakan.
Pencahayaan panggung harus dimulai pada level yang tepat. Terlalu redup dan para aktor menghilang. Terlalu terang dan adegannya memutih habis. Inisialisasi menyetel kecerahan awal sinyal sehingga setiap layer bisa meneruskan informasi yang berguna maju dan mundur. Gambar di bawah menunjukkan bahaya intinya sebagai matematika murni: sinyal yang dikalikan dengan faktor r yang kira-kira sama di setiap layer adalah barisan geometri. Geser r sedikit di bawah atau di atas 1 dan saksikan apa yang dilakukan banyak layer terhadapnya: keheningan atau ledakan. Inisialisasi ada untuk menjaga faktor itu tetap dekat 1.