Differentieerbaarheid

Eénvariabelecalculus vanuit eerste principes

Een functie is differentieerbaar in een punt als er daar slechts één, goed gedefinieerde richtlijn bestaat: één raaklijn, geen onduidelijkheid. De meeste gladde krommen zijn overal differentieerbaar. Maar sommige functies, hoewel perfect continu, hebben een plaats waar de richtlijn gewoon niet kan worden vastgelegd. Het begrijpen van waar afgeleiden mislukken is even belangrijk als het berekenen ervan.

Als een functie in een punt een richtlijn heeft, kan er daar geen sprong zijn, dus differentieerbaar ⇒ continu. De omgekeerde is onwaar: een functie kan continu (tekenbaar zonder het potlood op te tillen) zijn en toch nog steeds geen richtlijn in dat punt hebben. Het verschil tussen "continu" en "differentieerbaar" is precies de interessante kant.

De absolute waarde |x| is het standaard voorbeeld. Het is overal continu, zonder een breuk bij 0. Maar net aan de hoek, de richtlijn die inkomt van links is −1 en de richtlijn die vertrekt naar rechts is +1. Twee verschillende richtlijnen ontmoeten elkaar op een scherpe punt, dus er bestaat geen enkele raaklijn. De afgeleide bestaat niet aan x = 0.

Waar dit voorkomt in ML...ReLU, de meest voorkomende activatiefunctie, is letterlijk max(0, x): een hoekpunt bij 0, net als |x|. Zijn afgeleide bestaat niet precies op 0, dus kiezen frameworks gewoon een waarde (meestal 0), genaamd een "subgradient." De hoekpunten van ReLU, de krommen van L1 regularisatie en de onafhankelijkheid van de hinge loss zijn allemaal plekken waar deze exacte issue optreedt en wordt aangepakt…
▶ Differentieerbaarheid
← De DerivaatBasisregels voor afgeleiden →