Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Adam съчетава две идеи: моментум за средния градиент и мащабиране в стил RMSProp за средния квадрат на градиента. После коригира ранното отклонение, защото тези плъзгащи се средни стойности започват от нула.
Тази комбинация прави Adam често срещан пръв избор в дълбокото обучение, особено когато градиентите са шумни и параметрите имат много различни мащаби.
Автопилот може да използва два уреда едновременно. Единият показва средната посока на дрейф на самолета. Другият показва колко турбулентна е била тази посока. Adam използва същата идея: движи се по устойчивия дрейф, но мащабира движението според скорошната турбулентност. Във фигурата можете директно да наблюдавате моментум-половината на Adam: увеличете β и рикошетът заглъхва. Adam добавя още едно ниво отгоре, като дели стъпката на всяка координата по нейния собствен скорошен мащаб на градиента.