Parti Boyutu Ölçekleme

Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar

Parti boyutu, B olarak yazılır, gradyan kestirimlerindeki gürültüyü değiştirir. Küçük bir parti gürültülü ama ucuz bir kestirim verir. Büyük bir parti daha kararlı bir kestirim verir, ama her güncelleme daha pahalıya mal olur.

Parti boyutu değiştiğinde, en iyi öğrenme oranı da genellikle değişir. Büyük partiler bazen daha büyük öğrenme oranları kullanabilir, ama genellikle warmup ve dikkatli doğrulama gerektirirler.

Bir çıkış anketi aynı şekilde çalışır. Beş seçmene sormak gürültülü bir tahmin verir. Beş bin seçmene sormak daha kararlı bir kestirim verir, ama daha çok iş gerektirir. Parti boyutu, gradyan için anket boyudur. Bu sakinleşme etkisi, figürün tam olarak gösterdiği şeydir: Çalıştır'a bas ve yazı-tura atışlarının koşan ortalamasının n büyüdükçe yerleştiğini izle. Paraları örnek başına gradyanlarla, n'i de B ile değiştir, işte parti-boyutu hikâyesinin tamamı bu.

Bunun ML'deki yeriBüyük ölçekli eğitim genellikle parti boyutunu, öğrenme oranını, warmup'ı ve gradyan birikimini birlikte ayarlar. Yalnızca parti boyutunu değiştirmek, modelin hissettiği optimizasyon problemini değiştirir.
▶ Parti Boyutu Ölçekleme
← Karışık Hassasiyet ve Kayıp ÖlçeklemeGradyan Birikimi →