Limites & Continuidade em Rⁿ

Cálculo multivariável a partir dos primeiros princípios

Sobre uma reta você só podia aproximar-se de um ponto por dois lados, à esquerda e à direita. No plano e mais além, você pode aproximar-se de um ponto por infinitas direções, ao longo de qualquer caminho que quiser. Essa liberdade extra torna os limites em Rⁿ genuinamente mais difíceis, e esta lição é mais um aviso do que uma receita.

Uma função f tem limite L num ponto p apenas se ela se dirige ao mesmo L seja qual for o caminho que você tome. Se dois caminhos diferentes dão duas respostas diferentes, o limite simplesmente não existe.

Você concorda em encontrar um amigo em uma fonte no meio de uma praça. Você pode caminhar em direção a ela pela entrada norte, pelo beco leste ou por qualquer diagonal sinuosa pela praça, mas você deve acabar na mesma fonte. Um limite em Rⁿ exige exatamente isso: a função deve se dirigir a um valor, não importa qual caminho você tome. Se duas abordagens discordarem sobre onde elas chegam, não há ponto de encontro e o limite não existe.

Onde isso aparece no MLO treinamento baseado em gradiente funciona porque quase toda a função em deep learning é contínua: um pequeno empurrão nos pesos produz uma pequena variação na loss, por isso o gradiente significa alguma coisa. A exceção bem conhecida é a ReLU, max(0, x), contínua em toda a parte mas com um bico em 0, onde a derivada salta. Uma paisagem suave é a regularidade de que o gradiente descendente…
▶ Limites & Continuidade em Rⁿ
← Funções f: Rⁿ → RᵐDerivadas Parciais →