Matriks Khusus

Geometri dan aljabar pemetaan linear, vektor, dan matriks

Beberapa matriks muncul begitu sering, dengan geometri yang begitu bersih, sehingga layak diberi nama. Mengenalinya sekilas menghemat usaha besar.

Matriks identitas I memiliki angka 1 pada diagonal dan 0 di tempat lain. Ia adalah peta "tidak melakukan apa-apa": Ix = x untuk setiap vektor. Matriks diagonal memiliki entri tak nol hanya pada diagonal; ia meregangkan setiap sumbu secara independen, dengan entri dᵢ menskalakan koordinat ke-i tanpa pencampuran.

Pikirkan tentang papan pencampur suara. Matriks identitas I adalah setiap penggeser yang diparkir pada 1: sinyal melewati tanpa disentuh, persis "tidak melakukan apa-apa." Sebuah matriks diagonal adalah sekumpulan penggeser volume independen — masing-masing meningkatkan atau memotong satu saluran dengan sendirinya, tanpa ada saluran yang pernah tumpah ke saluran lain.

Di mana ini berlaku dalam MLPeta ortogonal menjaga sinyal tetap berskala baik. Orthogonal weight initialization memulai layer sebagai peta yang mempertahankan panjang sehingga aktivasi dan gradien tidak meledak maupun menghilang saat melewati banyak layer. Matriks diagonal muncul sebagai skala per-fitur dalam batch norm, dan identitas adalah tulang punggung residual connection x + f(x), jalur "tidak melakukan apa-apa" yang…
▶ Matriks Khusus
← TransposeAx = b: Geometri →