Limiti e Continuità in Rⁿ

Calcolo multivariabile dai primi principi

Su una retta potevi avvicinarti a un punto solo da due lati, sinistra e destra. Nel piano e oltre, puoi avvicinarti a un punto da infinite direzioni, lungo qualsiasi percorso tu voglia. Questa libertà in più rende i limiti in Rⁿ genuinamente più difficili, e questa lezione è più un avvertimento che una ricetta.

Una funzione f ha limite L in un punto p solo se si dirige verso lo stesso L non importa quale percorso tu prenda. Se due percorsi diversi danno due risposte diverse, il limite semplicemente non esiste.

Accetti di incontrare un amico a una fontana al centro di una piazza. Puoi camminare verso di essa dall'ingresso nord, dal vicolo est, o da qualsiasi diagonale tortuosa attraverso la piazza, ma devi finire alla stessa fontana. Un limite in Rⁿ richiede esattamente questo: la funzione deve dirigersi verso un unico valore indipendentemente dal percorso intrapreso. Se due approcci non concordano su dove atterrano, non c'è un punto di incontro, e il limite non esiste.

Dove si trova nel MLL'addestramento basato sul gradiente funziona perché quasi ogni funzione nel deep learning è continua: una piccola spinta dei pesi produce un piccolo cambiamento di loss, quindi il gradiente significa qualcosa. L'eccezione ben nota è la ReLU, max(0, x), continua ovunque ma con uno spigolo a 0 dove la derivata salta. Un paesaggio liscio è la regolarità su cui fa affidamento la discesa del…
▶ Limiti e Continuità in Rⁿ
← Funzioni f: Rⁿ → RᵐDerivate Parziali →