Матрично умножение

Геометрия и алгебра на линейни приложения, вектори и матрици

Умножението на матрици може да изглежда като някакво произволно правило, но значението му е ясно: AB представлява композиция на две трансформации. Първо се прилага B, а след това A. Произведението е единична матрица, която извършва и двете движения наведнъж.

За да изчислите даден елемент от AB, вземате ред от A и го умножавате скаларно с колона от B. Елементът (i, j) е скаларното произведение на ред i от A и колона j от B. Това е целият алгоритъм: скаларни произведения, подредени в таблица.

Представете си две машини на фабрична линия. Първата машина B преоформя една част, след това втората машина A я преоформя отново. Произведението AB е единствената комбинирана машина, която извършва и двете стъпки на един ход — и редът на линията е фиксиран, тъй като частта трябва да премине през B преди A.

Къде се използва това в MLКомпозирането на слоеве представлява матрично умножение. Двуслойна линейна мрежа W₂(W₁x) е еквивалентна на (W₂W₁)x; слоевете се сливат в една обща трансформация. В механизма за внимание (attention), оценките (scores) се получават от произведението QKᵀ, а резултатът се получава от умножаването на тези тегла с V. Всяко право преминаване (forward pass) е верига от такива произведения, а графичните…
▶ Матрично умножение
← Матриците като линейни трансформацииТранспониране →