Транспонирование

Геометрия и алгебра линейных отображений, векторов и матриц

Транспонирование Aᵀ отражает матрицу относительно главной диагонали: строки становятся столбцами, столбцы — строками. Элемент (i, j) меняется местами с (j, i). Матрица (m×n) становится (n×m).

Представьте себе электронную таблицу, где строки — это люди, а столбцы — месяцы, в которые каждый из них платил. Транспонирование ее опрокидывает всю таблицу по диагонали так, что строки становятся столбцами: теперь строки — это месяцы, а столбцы — люди. Ни одно число не теряется и не изменяется — каждое значение просто перемещается в свою зеркальную ячейку, где ее метка строки и метка столбца поменялись местами.

Матрица, равная своей транспонированной, A = Aᵀ, — симметричная: зеркально сбалансированная относительно диагонали, с Aᵢⱼ = Aⱼᵢ. Эти матрицы достаточно особенные, чтобы посвятить им два последующих урока.

Где это встречается в MLТранспонирование повсюду в обратном распространении. Прямой проход умножает на W; обратный умножает входящий градиент на Wᵀ, отправляя его в предыдущий слой. Оценки внимания — QKᵀ. А гессиан и ковариационная матрица симметричны (A = Aᵀ) по построению — это и гарантирует хорошую собственную структуру, на которую опираются последующие уроки.
▶ Транспонирование
← Умножение матрицСпециальные матрицы →