Limieten & Continuïteit in Rⁿ

Meervariabelecalculus vanuit eerste principes

Op een lijn kon je een punt slechts van twee kanten besluipen, links en rechts. In het vlak en daarbuiten kun je een punt benaderen vanuit oneindig veel richtingen, langs elk pad dat je maar wilt. Die extra vrijheid maakt limieten in Rⁿ echt moeilijker, en deze les is meer een waarschuwing dan een recept.

Een functie f heeft alleen limiet L in een punt p als hij naar dezelfde L gaat, ongeacht welk pad je naar binnen neemt. Als twee verschillende paden twee verschillende antwoorden geven, bestaat de limiet simpelweg niet.

Je spreekt af om een vriend te ontmoeten bij een fontein in het midden van een plein. Je kunt erheen lopen vanaf de noordingang, het oostelijke steegje, of een willekeurige kronkelige diagonaal over het plein, maar je moet bij dezelfde fontein uitkomen. Een limiet in Rⁿ vereist precies dit: de functie moet op één waarde afkoersen, ongeacht welk pad je neemt. Als twee benaderingen het er niet over eens zijn waar ze landen, is er geen ontmoetingsplek, en de limiet bestaat niet.

Waar dit voorkomt in MLOp gradiënten gebaseerde training werkt omdat bijna elke functie in deep learning continu is: een minuscule gewichtsverstoring geeft een minuscule verliesverandering, dus de gradiënt betekent iets. De bekende uitzondering is ReLU, max(0, x), overal continu maar met een knik in 0 waar de afgeleide springt. Een glad landschap is de regelmaat waarop gradiëntafdaling rekent, en waar het breekt (bij…
▶ Limieten & Continuïteit in Rⁿ
← Functies f: Rⁿ → RᵐPartiële afgeleiden →