Règles du produit et du quotient

Calcul à une variable depuis les premiers principes

Lorsque deux fonctions sont multipliées ensemble, vous ne pouvez pas simplement multiplier leurs dérivées. C'est une tentation, mais c'est incorrect. La règle correcte tient compte du fait que les deux facteurs changent en même temps.

Imaginez un rectangle dont la largeur est f et la hauteur est g; son aire est f·g. Si les deux côtés grandissent un peu, l'aire augmente sur deux fronts : une bande de la largeur plus grande, plus une bande de la hauteur plus grande. C'est pourquoi la réponse a deux termes, pas un.

Imaginez un jardin rectangulaire dont la largeur et la hauteur sont toutes les deux étendues en même temps. La nouvelle aire n'est pas juste une seule bande, vous gagnez une bande le long de la plus grande largeur et une bande le long de la plus grande hauteur. C'est pourquoi la règle du produit comporte deux termes : lorsque deux quantités changeantes se multiplient, la croissance de chacune apporte sa propre part au total.

Où cela apparaît en MLCes règles sont les briques de base que compose autograd. Une note normalisée comme une probabilité softmax ou un poids d'attention est un quotient (quelque chose sur une somme), et la différentiation utilise la règle du quotient sous-jacente. La normalisation par lot, la division par l'écart type de couche : partout où le réseau divise une quantité apprise par une autre, c'est la règle du…
▶ Règles du produit et du quotient
← Règles de base pour les dérivéesRègle de la chaîne →