Differenziabilità

Calcolo a una variabile dai primi principi

Una funzione è differenziabile in un punto se ha una singola pendenza ben definita lì: una retta tangente, senza ambiguità. La maggior parte delle curve lisce è differenziabile ovunque. Ma alcune funzioni, pur perfettamente continue, hanno un punto dove la pendenza semplicemente non si può fissare. Capire dove le derivate falliscono è importante quanto saperle calcolare.

Se una funzione ha una pendenza in un punto, non può avere un salto lì, quindi differenziabile ⇒ continua. Il viceversa è falso: una funzione può essere continua (disegnabile senza staccare la penna) eppure non avere pendenza in un punto. Il divario tra "continua" e "differenziabile" è esattamente la parte interessante.

Il valore assoluto |x| è l'esempio classico. È continua ovunque, senza interruzioni a 0. Ma proprio allo spigolo, la pendenza che arriva da sinistra è −1 e quella che prosegue a destra è +1. Due pendenze diverse si incontrano in un punto acuto, quindi non c'è una singola tangente. La derivata non esiste in x = 0.

Dove si trova nel MLLa ReLU, l'attivazione più comune, è letteralmente max(0, x): uno spigolo in 0, proprio come |x|. La sua derivata non è definita esattamente in 0, quindi i framework semplicemente scelgono un valore (di solito 0), detto "subgradiente". Gli spigoli della ReLU, le pieghe della regolarizzazione L1 e la non-regolarità della hinge loss sono tutti casi in cui si presenta esattamente questo problema, e…
▶ Differenziabilità
← La DerivataRegole Base delle Derivate →