Perkalian Matriks

Geometri dan aljabar pemetaan linear, vektor, dan matriks

Perkalian matriks terlihat seperti aturan rewel, tetapi maknanya bersih: AB adalah komposisi dari dua transformasi. Lakukan B dulu, lalu A. Produknya adalah satu matriks yang melakukan kedua gerakan sekaligus.

Untuk menghitung sebuah entri dari AB, ambil baris dari A dan dot-kan dengan kolom dari B. Entri (i, j) adalah baris i dari A didotkan dengan kolom j dari B. Itulah seluruh algoritmanya: produk dot, disusun dalam kisi.

Bayangkan dua mesin di jalur pabrik. Mesin pertama B membentuk ulang sebuah bagian, kemudian mesin kedua A membentuknya ulang kembali. Produk AB adalah mesin gabungan tunggal yang melakukan kedua langkah dalam satu jalan — dan urutan di jalur tersebut tetap, karena bagian tersebut harus melalui B sebelum A.

Di mana ini berlaku dalam MLMengomposisikan layer adalah perkalian matriks. Tumpukan linear dua layer W₂(W₁x) sama dengan (W₂W₁)x; layer-layer itu menyatu menjadi satu peta. Dalam attention, skor berasal dari produk QKᵀ dan output dari mengalikan bobot itu dengan V. Setiap forward pass adalah rantai produk ini, dan aturan bentuk adalah yang dirancang GPU untuk dihancurkan dengan cepat.
▶ Perkalian Matriks
← Matriks sebagai Pemetaan LinearTranspose →