モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
正則化は損失に加えるペナルティとして紹介されることが多い。幾何学的には、どのパラメータベクトルが安く、どれが高くつくかを変えているのだ。それが最適化問題の形そのものを変える。以下では2つの記号が繰り返し出てくる。R(θ)はペナルティ項の名前で、λ（ラムダ）はそれをどれだけ強く効かせるかを決める。
最もよく使われる2つのペナルティは異なる振る舞いをする。L2は大きな重みを滑らかに抑制するのに対し、L1には角があり、いくつかの重みをちょうどゼロへ押しやることができる。
厳しい重量制限のあるスーツケースに荷物を詰めるのも同じ形をしている。どのアイテムも役に立つかもしれないが、重い品は予算をあっという間に使い切る。正則化は、大きなパラメータの選択が予算を消費するようにするので、モデルは十分に役立つときにだけそれを保持する。図は、なぜその予算に価値があるかを示している。モデルの柔軟性が増すにつれて訓練誤差は下がり続けるが、検証誤差はやがて上向きに転じる。正則化は、その転換が来る前に柔軟性を抑えるためのつまみだ。