Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Adam ve AdamW, ağırlık azalımını nasıl ele aldıkları konusunda farklılaşır. Adam bir L2 cezasını uyarlanabilir gradyan güncellemesine karıştırır. AdamW ağırlık azalımını ayrı bir küçültme adımı olarak uygular.
Bu ayrım önemlidir, çünkü Adam gradyanları her parametre için yeniden ölçekler. Ağırlık azalımı bu gradyanlara karıştırılırsa, düzenlileştirme de parametreye bağlı bir şekilde yeniden ölçeklenmiş olur.
Kitapların zamanında iade edilmesini isteyen bir kütüphaneyi düşün. Her geç gün için sabit bir ceza akıl yürütmesi kolaydır: herkese aynı şekilde uygulanır. Cezayı her üyenin kişisel üyelik formülüne katmak cezayı düzensiz ve tahmin etmesi zor hâle getirir. AdamW o sabit, ayrı cezadır; birleşik L2'li Adam ise cezayı önce kendi parametre başına makinesine katlar. Peki neden hiç ceza uygulanır? Figür cevabı veriyor: büyüyen esneklik eğitim hatasını düşürmeye devam ederken, doğrulama hatası sonunda yukarı döner. Ağırlık azalımı, o tatlı noktaya yakın kalmak için ana araçlardan biridir.