Умножение матриц

Геометрия и алгебра линейных отображений, векторов и матриц

Умножение матриц выглядит как замысловатое правило, но его смысл чист: AB — композиция двух преобразований. Сначала B, затем A. Произведение — одна матрица, выполняющая оба движения за раз.

Чтобы вычислить элемент AB, возьмите строку A и скалярно умножьте на столбец B. Элемент (i, j) — строка i матрицы A, скалярно умноженная на столбец j матрицы B. Это весь алгоритм: скалярные произведения, расположенные в сетку.

Представьте себе две машины на заводской линии. Первая машина B изменяет форму детали, затем вторая машина A снова ее изменяет. Произведение AB — это единственная объединенная машина, которая выполняет оба шага за один проход — и порядок на линии фиксирован, поскольку деталь должна пройти через B перед A.

Где это встречается в MLКомпозиция слоёв и есть умножение матриц. Двухслойный линейный стек W₂(W₁x) равен (W₂W₁)x; слои сливаются в одно отображение. В внимании оценки — произведение QKᵀ, а выход — умножение этих весов на V. Каждый прямой проход — цепь таких произведений, и правило размерностей — то, под что построены GPU.
▶ Умножение матриц
← Матрицы как линейные отображенияТранспонирование →