Regel van Kettingdifferentiatie

Eénvariabelecalculus vanuit eerste principes

De regel van kettingdifferentiatie is de regel waarop backpropagation gebouwd is. Het vertelt je hoe je een compositie moet differentiëren: een functie binnenin een andere functie, zoals f(g(x)).

Om "buitenvanbinnen" te differentiëren, neem de externe afgeleide (laat het interne ongewijzigd), en vermenigvuldig daarmee de interne afgeleide. De veranderingssnelheden vermenigvuldigen zich langs de ketting.

Denk eraan als een pipeline: x → g → f. Een kleine aanpassing in x wordt vergroot door g′, en die aanpassing wordt opnieuw vergroot door f′. De totale vergroeiing is het product van de twee. Het figuur toont hoe afgeleiden zich langs de compositie vermenigvuldigen.

Waar dit voorkomt in MLBackpropagation is de kettingsregel, uitgevoerd in omgekeerde richting door een netwerk. Een diep netwerk is één grote compositie (laag na laag na laag), en de gradiënt van het verlies ten opzichte van een vroege gewicht is een product van lokale afgeleiden, één per laag, vermenigvuldigd langs de pad. Dit is waarom "verdwijning van gradiënten" optreedt: veel kleine afgeleiden vermenigvuldigen en…
▶ Regel van Kettingdifferentiatie
← Product- en quotiëntregelsImplicit Differentiatie →