Πολυμεταβλητός απειροστικός λογισμός από τις πρώτες αρχές
Συγκεντρώστε κάθε μερική παράγωγο της f σε ένα διάνυσμα και λαμβάνετε τη βαθμίδα (gradient), που γράφεται ∇f («grad f»). Κάθε βελτιστοποιητής στη βαθιά μάθηση βασίζεται σε αυτό το μοναδικό αντικείμενο, επομένως κερδίζει τη θέση του στο κέντρο του μαθήματος.
Η βαθμίδα δεν είναι απλώς μια καταγραφή στοιχείων. Ως διάνυσμα στον χώρο εισόδου, έχει κατεύθυνση και μήκος, και τα δύο έχουν νόημα. Η κατεύθυνση είναι αυτή της ταχύτερης ανόδου: κατευθυνθείτε παράλληλα με το ∇f και η συνάρτηση αυξάνεται όσο πιο γρήγορα γίνεται. Το μήκος του ‖∇f‖ είναι ακριβώς το πόσο απότομη είναι αυτή η άνοδος.
Φανταστείτε τον εαυτό σας να στέκεται σε έναν χλοερό λόφο με ομίχλη. Η βαθμίδα ∇f είναι το βέλος που δείχνει κατευθείαν προς το πιο απότομο μέρος της πλαγιάς, και το μήκος της σας λέει πόσο επίπονη είναι αυτή η ανάβαση. Αφήστε μια μπάλα στο έδαφος: κυλάει ακριβώς στην αντίθετη κατεύθυνση, παίρνοντας τον ταχύτερο δρόμο προς τα κάτω.