行列ノルム

線形写像、ベクトル、行列の幾何学と代数

ベクトルが長さを持つように、行列は「サイズ」を持つ。2つの測度が支配的で、異なる問いに答える:要素はどれくらい大きいか vs 行列はベクトルをどれくらい伸ばせるか?

フロベニウスノルムは行列を1つの長い数のリストとして扱い、ユークリッド長を取る:各要素を2乗、足す、平方根。スペクトルノルムは代わりに最大伸縮を測り、Aが任意の単位ベクトルを伸ばせる最大因子で、それは最大特異値であることが分かる。

行列をギターの amplifier のように考えてください:信号を入力すると、それがより大きくなって出力されます。スペクトルノルムは amplifier の最大の gain であり、通過させる入力をブーストできる最大の係数です。ノブを最大の設定に回したとき、単位信号が出力できる最大の大きさがまさにそのノルムです。

機械学習における位置づけフロベニウスノルムが行列全体のL2重み正則化です:‖W‖_F²にペナルティを与えて重みを小さく保ちモデルを滑らかにする。スペクトルノルムはスペクトル正規化を駆動し、重み行列をその最大特異値で割って増幅を上限する。それがGANの主要な安定化策で、リプシッツ境界を強制するツール。
▶ 行列ノルム
← 最小二乗法射影 →