Gradyan Kırpma

Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar

Gradyan kırpma, bir güncellemenin ne kadar büyük olabileceğini sınırlar. Bir grup devasa bir gradyan üretirse, kırpma bunu optimizer adımından önce küçültür.

Kırpma ne amacı ne de veriyi düzeltir. Bunu bir güvenlik kuralı gibi düşün: tek bir uç grup, parametreleri kayıp yüzeyinin öbür ucuna fırlatabilmemeli.

Asansör hız regülatörü buna iyi bir örnektir. Asansör normal hareket edebilir, ama çok hızlanmaya başlarsa regülatör hareket tehlikeli olmadan önce hızı sınırlar. Gradyan kırpma normal gradyanların geçmesine izin verir ve tehlikeli sıçramaları sınırlar. Aşağıdaki figür kırpılan nesneyi gösterir: noktayı kâsenin içinde sürükle ve yüzey dikleştikçe gradyan okunun uzadığını izle. Kırpma bu okun uzunluğunu yönünü koruyarak c'de sabitler.

Bunun ML'deki yeriGradyan kırpma basit bir kararlılık aracıdır. Genellikle AdamW, warmup ve karışık hassasiyetle birlikte kullanılır, çünkü bu tarifler aksi hâlde nadir ama zarar verici gradyan sıçramalarından muzdarip olabilir.
▶ Gradyan Kırpma
← Optimizer TanılamasıAdam ve AdamW →