特殊な行列

線形写像、ベクトル、行列の幾何学と代数

いくつかの行列は非常に頻繁に、きれいな幾何と共に現れるので、名前を持つ。一目で知っていれば多大な努力を省ける。

単位行列Iは対角線上に1、それ以外に0を持つ。「何もしない」写像:すべてのベクトルについてIx = x。対角行列は対角線上にのみ非ゼロ要素を持つ;各軸を独立に伸ばし、要素dᵢがi番目の座標をスケールし、混ぜ合わせはない。

サウンドミキシングボードを考えてみてください。単位行列(identity matrix) I はすべてのスライダーが 1 に設定された状態です:信号はそのまま通過し、まさに「何もしない」状態です。対角行列(diagonal matrix) は独立したボリュームスライダーのセットです — それぞれが単一のチャンネルを単独でブーストまたはカットし、あるチャンネルが別のチャンネルに混ざることは決してありません。

機械学習における位置づけ直交写像は信号をよくスケールに保つ。直交重み初期化は層を長さ保存写像として始め、活性化も勾配も多くの層を通じて爆発も消失もしないようにする。対角行列はバッチ正規化の特徴ごとのスケールとして現れ、単位行列は残差接続x + f(x)の骨格で、勾配がまっすぐ流れる「何もしない」経路。
▶ 特殊な行列
← 転置Ax = b:幾何 →