Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Пълнопартидното градиентно спускане използва всеки тренировъчен пример, за да изчисли всяко обновление; стохастичното градиентно спускане отива в другата крайност и използва само един. Мини-партидното градиентно спускане стои по средата с малка партида и точно този компромис е това, на което всъщност работи дълбокото обучение.
Градиентът от мини-партида е шумна оценка на пълния градиент. Той е по-евтин и често по-полезен от точния пълен градиент, защото дава много бързи обновления, а неговият шум може да помогне на изследването.
Проверките на качеството на зърнени закуски използват същия компромис. Отварянето на всяка кутия е точно, но бавно. Проверката на една кутия е шумна. Проверката на поднос с кутии дава полезна оценка бързо. Мини-партидите са точно тези подноси. Фигурата по-долу прави статистиката видима: натиснете „старт“ и гледайте как текущата средна стойност се уталожва с пристигането на повече проби. Градиентът от мини-партида е от същия вид обект — средна стойност, която се стабилизира с нарастването на партидата.