Koşullandırma ve Zikzak

Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar

Gradyan inişi, yuvarlak bir kayıp yüzeyinde ve gerilmiş bir yüzeyde çok farklı davranır. Koşullandırma, bu gerilmeyi ölçer. Kötü koşullandırma optimize ediciyi zikzak yapmaya iter: bir yön dik, diğeri düzdür.

İkinci dereceden bir kayıp için koşullandırma, Hessian'ın özdeğerleri tarafından denetlenir. Koşul sayısı κ, en büyük eğriliğin en küçüğüne oranıdır.

Dar tampon çubuklu ve uzun dar bir çıkış yolu olan bir pinball makinesinde sert bir vuruş, topu yavaşça ileri giderken yana yana sekmeye zorlar. Kötü koşullandırma, gradyan inişine de aynısını yapar: dik yönde sıçrar, düz yönde sürünür. Aşağıdaki şekil tam olarak o makinedir. Kâseyi germek için κ'yı kaydır, inişi çalıştır ve yolun dar yön boyunca sekerken uzun yön boyunca yavaşça ilerlemesini izle. (β'yı şimdilik 0'da bırak; Momentum dersinde başrolde o olacak.)

Bunun ML'deki yeriKoşullandırma, sinir ağı mimarisinin önemli olmasının bir nedenidir. Artık (residual) bağlantılar, normalizasyon katmanları, başlatma şemaları ve uyarlanabilir optimize ediciler, gradyan tabanlı eğitimin gördüğü etkin geometriyi değiştirerek kaybı gezinmesi daha kolay hâle getirir.
▶ Koşullandırma ve Zikzak
← Zamanlamalar ve IsınmaMomentum →