Matrizes Especiais

Geometria e álgebra de aplicações lineares, vetores e matrizes

Algumas matrizes aparecem com tanta frequência, e com uma geometria tão limpa, que recebem nomes próprios. Reconhecê-las à primeira vista poupa um enorme esforço.

A matriz identidade I tem 1 na diagonal e 0 nas restantes posições. É a aplicação "não fazer nada": Ix = x para todo vetor. Uma matriz diagonal tem entradas não-nulas apenas na diagonal; estica cada eixo de forma independente, com a entrada dᵢ a escalar a i-ésima coordenada, sem qualquer mistura.

Pense em uma mesa de mixagem de som. A matriz identidade I é com todos os controles deslizantes parados no 1: o sinal passa intocado, exatamente "não faz nada". Uma matriz diagonal é um conjunto de controles deslizantes de volume independentes — cada um amplifica ou reduz um único canal por conta própria, sem que nenhum canal jamais interfira em outro.

Onde isso aparece no MLAs aplicações ortogonais mantêm os sinais bem escalados. A inicialização ortogonal de pesos arranca uma camada como uma aplicação que preserva o comprimento, para que ativações e gradientes não explodam nem desapareçam ao atravessar muitas camadas. As matrizes diagonais surgem como escalas por variável no batch norm, e a identidade é a espinha dorsal de uma ligação residual x + f(x), o caminho…
▶ Matrizes Especiais
← TranspostaAx = b: Geometria →