Product- en quotiëntregels

Eénvariabelecalculus vanuit eerste principes

Wanneer twee functies vermenigvuldigd worden, kun je hun afgeleiden niet gewoon vermenigvuldigen. Dat is een verleidelijke knipoog, maar het is foutief. De juiste regel neemt rekening met het feit dat zowel factoren tegelijkertijd veranderen.

Stel je een rechthoek voor waarvan de breedte f en hoogte g is; zijn oppervlakte is f·g. Als beide zijden wat groter worden, neemt het oppervlak toe op twee fronten: een strook van de brede breedte plus een strook van de hogere hoogte. Daarom heeft het antwoord twee termen, niet één.

Stel je een rechthoekige tuin voor waarvan zowel de breedte als de hoogte tegelijk worden verlengd. De nieuwe oppervlakte is niet slechts één strook, je krijgt een strook langs de langere breedte en een strook langs de grotere hoogte erbij. Dat is waarom de productregel twee termen heeft: wanneer twee veranderende grootheden vermenigvuldigen, draagt de groei van elk zijn eigen deel bij aan het totaal.

Waar dit voorkomt in MLDeze regels zijn de bouwstenen die autograd samenstelt. Een gestandaardiseerde score zoals een softmax kans of een aandacht gewicht is een quotiënt (iets over een som), en het differentiëren daarvan gebruikt de quotiëntregel onder de oppervlakte. Batch-norm's schaling, layer-norm's deling door een standaardafwijking: waar ook een netwerk één geleerde hoeveelheid deelt door een andere, is de…
▶ Product- en quotiëntregels
← Basisregels voor afgeleidenRegel van Kettingdifferentiatie →