Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Karışık hassasiyetli eğitim, hız ve bellek için daha küçük sayı formatları kullanır. Her hesaplamayı tam hassasiyette (standart 32-bit kayan noktada) saklamak yerine birçok işlem, yarı belleği daha az hassasiyet ve — float16 için — daha dar bir temsil edilebilir büyüklük aralığı karşılığında kullanan 16-bit formatlar olan float16 ya da bfloat16 kullanır.
Risk sayısal aralıktır. Bazı gradyanlar çok küçüktür. Küçük bir sayı sıfıra yuvarlanırsa, optimizer bilgi kaybeder. Kayıp ölçekleme, geri yayılımdan önce kaybı çarparak, sonra gradyanları geri bölerek bu küçük gradyanları korur.
Tam grama yuvarlayan bir mutfak tartısı küçük bir baharat tutamını kaçırabilir. On tane özdeş tutamı birlikte tartarsan, tartı toplamı görebilir. Sonra biri geri alabilmek için ona böleriz. Kayıp ölçekleme aynı numarayı kullanır: küçük değeri temsil etmesi daha kolay hâle getir, sonra geri ölçekle. Aşağıdaki figür neyin tehlikede olduğunun bir hatırlatıcısıdır. İniş yalnızca her adımın gradyanı hesaplamada hayatta kalırsa işe yarar; hassasiyet döngüyü değiştirmez, minimuma yakın küçük eğimlerin hâlâ ona görünür olup olmadığına karar verir.