ノルム — 線形代数 · Mathematics for Machine Learning

ノルムは「このベクトルはどれくらい大きいか？」に答える。長さを測る。注意点は、長さの測り方のセンシブルな方法が複数あり、その選択が機械学習モデルの振る舞いを静かに形作ることです。

デフォルトはL2（ユークリッド）ノルム：ピタゴラスによる原点から先端までの直線距離。L1ノルムは代わりに絶対座標を足す、「タクシー」距離、グリッドの通りにしか進めないかのように。L∞ノルムは単一の最大座標だけを取る。

ある街角から別の街角へ街を横切って歩くことを想像してください。直線的な、カラスが飛ぶような距離が L2 ノルムです — ドローンが飛ぶような経路です。しかし、道路がグリッドに沿ってのみ移動することを強制する場合、あなたが実際に歩く市街地ブロックの距離は L1 ノルムです。同じ旅ですが、「どれくらい遠いか」についての2つの正直な測り方であり、グリッドのルートがカラスのルートより短くなることは決してありません。

機械学習における位置づけノルムが正則化です。L2重み減衰は‖w‖₂²にペナルティを与えすべての重みを穏やかにゼロに引き寄せ、モデルを滑らかに保つ。L1正則化は‖w‖₁にペナルティを与え多くの重みをちょうどゼロに駆り、スパースで特徴選択的なモデルを与える（上記のひし形の角が理由）。勾配ノルム‖∇L‖₂は訓練中に監視され、「勾配クリッピング」は大きくなりすぎたときに再スケールする。