행렬 노름

선형 사상, 벡터, 행렬의 기하학과 대수

벡터에 길이가 있듯이 행렬에도 «크기»가 있습니다. 두 가지 측도가 주를 이루며, 서로 다른 질문에 답합니다. 항목들이 얼마나 큰가, 그리고 행렬이 벡터를 얼마나 늘일 수 있는가?

프로베니우스 노름은 행렬을 하나의 긴 숫자 목록으로 보고 유클리드 길이를 취합니다. 각 항목을 제곱해 모두 더한 뒤 제곱근을 씌우는 것입니다. 한편 스펙트럼 노름은 최대 늘림을 측정합니다. A가 임의의 단위 벡터를 늘일 수 있는 최대 계수인데, 이는 곧 가장 큰 특이값으로 드러납니다.

행렬을 기타 amplifier 라고 생각해 보세요: 신호를 입력하면 더 크게 나옵니다. 스펙트럼 노름(spectral norm)은 amplifier 의 최대 gain 이며, 통과시키는 입력 신호를 증폭할 수 있는 가장 큰 계수입니다. 손잡이를 가장 큰 설정으로 돌릴 때 단위 신호가 나올 수 있는 가장 큰 소리가 정확히 그 노름입니다.

머신러닝에서의 위치프로베니우스 노름은 행렬 전체에 대한 L2 가중치 정규화 그 자체입니다. ‖W‖_F²에 벌점을 주면 가중치가 작게 유지되어 모델이 매끄러워집니다. 스펙트럼 노름은 스펙트럼 정규화를 구동하는데, 가중치 행렬을 가장 큰 특이값으로 나누어 증폭을 제한합니다. 그래서 GAN의 핵심 안정화 장치이자 립시츠 경계를 강제하는 도구가 됩니다.
▶ 행렬 노름
← 최소제곱법투영 →