Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Размерът на партидата, записван като B, променя шума в оценките на градиента. Малка партида дава шумна, но евтина оценка. Голяма партида дава по-стабилна оценка, но всяка актуализация струва повече.
Когато размерът на партидата се промени, най-добрата скорост на обучение често също се променя. Големите партиди понякога могат да използват по-големи скорости на обучение, но обикновено се нуждаят от загряване и внимателна валидация.
Допитването на изхода от избирателните секции работи по същия начин. Питането на петима избиратели дава шумно предположение. Питането на пет хиляди избиратели дава по-стабилна оценка, но отнема повече работа. Размерът на партидата е размерът на допитването за градиента. Точно този стабилизиращ ефект показва фигурата: натиснете „Старт“ и наблюдавайте как текущата средна стойност на хвърляния монета се установява с растежа на n. Заменете монетите с градиенти по отделни примери, а n с B, и имате цялата история на размера на партидата.