Специални матрици

Геометрия и алгебра на линейни приложения, вектори и матрици

Няколко вида матрици се появяват толкова често и имат толкова изчистена геометрия, че са си спечелили собствени имена. Разпознаването им от пръв поглед спестява огромни усилия.

Единичната матрица I има единици по диагонала и нули навсякъде другаде. Тя е изображението, което „не прави нищо“: Ix = x за всеки вектор. Диагоналната матрица има ненулеви елементи само по диагонала; тя разтяга всяка ос поотделно, като елементът dᵢ мащабира i-тата координата, без да смесва осите.

Представете си аудио смесителен пулт. Единичната матрица I представлява всеки плъзгач, оставен на 1: сигналът преминава недокоснат, точно "не прави нищо". Диагоналната матрица е набор от независими плъзгачи за сила на звука — всеки от тях усилва или намалява отделен канал самостоятелно, без никой канал някога да прелива в друг.

Къде се използва това в MLОртогоналните трансформации поддържат сигналите добре мащабирани. Ортогоналната инициализация на теглата задава слоя първоначално като трансформация, запазваща дължините, така че активациите и градиентите нито експлодират, нито затихват, докато преминават през множество слоеве. Диагоналните матрици се появяват като мащабиращи фактори за всеки признак при партидна нормализация (batch norm), а…
▶ Специални матрици
← ТранспониранеAx = b: Геометрия →