Πώς μαθαίνουν πραγματικά τα μοντέλα, από την απλή καταβατική κλίση έως τον Adam
Η ορμή (momentum) δίνει μνήμη στην κατηφορική κλίση. Αντί να χρησιμοποιεί μόνο την τρέχουσα κλίση, διατηρεί έναν κινητό μέσο όρο πρόσφατων κλίσεων και πραγματοποιεί βήματα προς αυτή τη συσσωρευμένη κατεύθυνση.
Αυτό βοηθά με δύο τρόπους: εξομαλύνει τις θορυβώδεις κλίσεις και αναπτύσσει ταχύτητα κατά μήκος κατευθύνσεων όπου οι κλίσεις συνεχίζουν να συμφωνούν. Πάνω από μια στενή χαράδρα, οι εναλλασσόμενες πλευρικές κλίσεις αλληλοαναιρούνται· κατά μήκος της χρήσιμης κατεύθυνσης, οι επαναλαμβανόμενες κλίσεις προστίθενται.
Μια μπάλα του μπόουλινγκ δεν ξεχνά το τελευταίο σπρώξιμο. Ένα σπρώξιμο την ξεκινά, και τα επαναλαμβανόμενα σπρωξίματα στην ίδια κατεύθυνση αναπτύσσουν ταχύτητα. Μικρά πλευρικά σκουντήματα δεν την αντιστρέφουν αμέσως. Η ορμή κάνει τη βελτιστοποίηση να συμπεριφέρεται λιγότερο ως μεμονωμένα βήματα και περισσότερο ως κίνηση με αδράνεια. Δείτε το να συμβαίνει παρακάτω: εκτελέστε πρώτα την απλή κατάβαση με β = 0, μετά αυξήστε το β και εκτελέστε ξανά. Ο πλευρικός εξοστρακισμός σβήνει και η διαδρομή αποκτά ταχύτητα κατά μήκος της κοιλάδας.