Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Adam combineert twee ideeën: momentum voor de gemiddelde gradiënt, en RMSProp-achtige schaling voor de gemiddelde gekwadrateerde gradiënt. Vervolgens corrigeert het de vroege bias, omdat die lopende gemiddelden op nul beginnen.
Die combinatie maakt Adam een gangbare eerste keuze in deep learning, vooral wanneer gradiënten ruizig zijn en parameters sterk uiteenlopende schalen hebben.
Een autopiloot kan twee instrumenten tegelijk gebruiken. Het ene toont de gemiddelde afdrijfrichting van het vliegtuig. Het andere toont hoe turbulent die richting is geweest. Adam gebruikt hetzelfde idee: beweeg mee met de aanhoudende afdrijving, maar schaal de beweging op basis van de recente turbulentie. In de figuur kun je de momentumhelft van Adam rechtstreeks zien: verhoog β en het kaatsen vervaagt. Adam voegt daar nog één truc aan toe, door de stap van elke coördinaat te delen door de recente gradiëntschaal van diezelfde coördinaat.