Limites & Continuidade em Rⁿ

Cálculo multivariável a partir dos primeiros princípios

Sobre uma reta só podias aproximar-te de um ponto por dois lados, à esquerda e à direita. No plano e mais além, podes aproximar-te de um ponto por infinitas direções, ao longo de qualquer caminho que queiras. Essa liberdade extra torna os limites em Rⁿ genuinamente mais difíceis, e esta lição é mais um aviso do que uma receita.

Uma função f tem limite L num ponto p apenas se ela se dirige ao mesmo L seja qual for o caminho que tomes. Se dois caminhos diferentes dão duas respostas diferentes, o limite simplesmente não existe.

Combina encontrar-se com um amigo numa fonte no meio de uma praça. Pode caminhar em direção a ela a partir da entrada norte, do beco a este, ou de qualquer diagonal sinuosa através da praça, mas tem de acabar na mesma fonte. Um limite em Rⁿ exige exatamente isto: a função tem de se dirigir para um único valor, independentemente do caminho que tome. Se duas abordagens discordam sobre onde aterram, não há ponto de encontro e o limite não existe.

Onde isto aparece no MLO treino baseado em gradiente funciona porque quase toda a função em deep learning é contínua: um pequeno empurrão nos pesos produz uma pequena variação na loss, por isso o gradiente significa alguma coisa. A exceção bem conhecida é a ReLU, max(0, x), contínua em toda a parte mas com um bico em 0, onde a derivada salta. Uma paisagem suave é a regularidade de que o gradient descent depende, e onde…
▶ Limites & Continuidade em Rⁿ
← Funções f: Rⁿ → RᵐDerivadas Parciais →