Специальные матрицы

Геометрия и алгебра линейных отображений, векторов и матриц

Несколько матриц встречаются так часто и с такой чистой геометрией, что заслуживают имён. Знание их в лицо экономит огромные усилия.

Единичная матрица I имеет 1 на диагонали и 0 везде. Это отображение «ничего не делать»: Ix = x для любого вектора. Диагональная матрица имеет ненулевые элементы только на диагонали; она растягивает каждую ось независимо, с элементом dᵢ, масштабирующим i-ю координату без смешивания.

Подумайте о микшерном пульте. Единичная матрица I — это каждый ползунок, установленный на 1: сигнал проходит нетронутым, в точности «ничего не делать». Диагональная матрица — это набор независимых ползунков громкости — каждый из них усиливает или обрезает один канал самостоятельно, и ни один канал никогда не перетекает в другой.

Где это встречается в MLОртогональные отображения сохраняют сигналы хорошо масштабированными. Ортогональная инициализация весов запускает слой как сохраняющее длину отображение, чтобы активации и градиенты не взрывались и не затухали, проходя через множество слоёв. Диагональные матрицы появляются как масштабы по признакам в batch norm, а единичная матрица — основа остаточной связи x + f(x), пути «ничего не делать»,…
▶ Специальные матрицы
← ТранспонированиеAx = b: Геометрия →