Matrizes Especiais

Geometria e álgebra das aplicações lineares, vetores e matrizes

Algumas matrizes aparecem com tanta frequência, e com uma geometria tão limpa, que recebem nomes próprios. Reconhecê-las à primeira vista poupa um enorme esforço.

A matriz identidade I tem 1 na diagonal e 0 nas restantes posições. É a aplicação "não fazer nada": Ix = x para todo o vetor. Uma matriz diagonal tem entradas não-nulas apenas na diagonal; estica cada eixo de forma independente, com a entrada dᵢ a escalar a i-ésima coordenada, sem qualquer mistura.

Pense numa mesa de mistura de som. A matriz identidade I é cada controlo deslizante estacionado em 1: o sinal passa intocado, exatamente "não fazer nada". Uma matriz diagonal é um conjunto de controlos deslizantes de volume independentes — cada um amplifica ou corta um único canal por si só, sem que nenhum canal se misture com outro.

Onde isto aparece no MLAs aplicações ortogonais mantêm os sinais bem escalados. A inicialização ortogonal de pesos arranca uma camada como uma aplicação que preserva o comprimento, para que ativações e gradientes não expludam nem desapareçam ao atravessar muitas camadas. As matrizes diagonais surgem como escalas por variável no batch norm, e a identidade é a espinha dorsal de uma ligação residual x + f(x), o caminho…
▶ Matrizes Especiais
← TranspostaAx = b: Geometria →