Aproximação Linear

Cálculo multivariável a partir dos primeiros princípios

Vista de perto, toda superfície suave parece plana, assim como a Terra parece plana debaixo dos seus pés. A aproximação linear substitui a função curva, perto de um ponto, pelo plano tangente plano que apenas a toca nesse ponto. O gradiente fornece a inclinação desse plano.

Lendo por palavras: o novo valor ≈ o valor antigo mais o produto escalar do gradiente com o passo que você deu. Esse produto escalar é a derivada direcional vezes o comprimento do passo, a melhor estimativa linear de quanto f se moveu.

Pressione um pequeno adesivo plano em uma bola de praia e, exatamente onde ele fica, a bola curva parece perfeitamente plana. A aproximação linear é esse adesivo: um plano tangente plano que beija a superfície em um ponto e substitui a curva ali perto. Afaste-se muito através da bola e o adesivo se descola da superfície — a previsão se desvia.

Onde isso aparece no MLUm passo de gradiente descendente é uma aproximação linear em ação. Atualizar w ← w − η∇L pressupõe que a variação na loss é bem prevista pelo termo linear ∇L·δ. Quando o passo é grande demais, a curvatura que você ignorou (o termo ‖δ‖²) se faz sentir e a loss pode ultrapassar o alvo ou divergir. A taxa de aprendizado η mantém você na região onde tratar a superfície como plana está…
▶ Aproximação Linear
← Derivada DirecionalA Jacobiana →