Özel Matrisler

Geometry and algebra of linear maps, vectors, and matrices

Bazı matrisler o kadar sık karşımıza çıkar ve geometrileri o kadar temizdir ki bir isim hak ederler. Onları ilk bakışta tanımak muazzam emek tasarrufu sağlar.

Birim matris I köşegeninde 1'ler, geri kalan her yerde 0'lar bulundurur. "Hiçbir şey yapmayan" dönüşümdür: her vektör için Ix = x. Bir köşegen matris sıfırdan farklı girdileri yalnızca köşegende bulundurur; her ekseni bağımsız olarak gerer; dᵢ girdisi i-inci koordinatı ölçekler ve hiçbir karışım olmaz.

Bir ses miksaj panosu düşünün. Birim matris I, her kaydırıcının 1'de park edilmiş halidir: sinyal dokunulmadan geçer, tam olarak "hiçbir şey yapma". Köşegen matris, bağımsız ses kaydırıcılarının bir kümesidir — her biri tek bir kanalı kendi başına yükseltir veya keser, hiçbir kanal diğerine sızmaz.

Bunun ML'deki yeriOrtogonal dönüşümler sinyalleri iyi ölçeklenmiş tutar. Ortogonal ağırlık başlatma, bir katmanı uzunluk koruyan bir dönüşüm olarak başlatır; böylece aktivasyonlar ve gradyanlar birçok katmandan geçerken ne patlar ne de yok olur. Köşegen matrisler batch norm'da özellik başına ölçek olarak görünür ve birim matris, gradyanların düz geçmesine izin veren "hiçbir şey yapmayan" yol olan artık bağlantının…
▶ Özel Matrisler
← Devrik (Transpoz)Ax = b: Geometri →