凸性

第一原理からの1変数微分積分

凸性は最適化を容易にする形です。凸関数は至る所で上にカップし、ボウルのように、その1つの性質が最小化を容易にします:1つの最低点しかなく、どんな下り坂の道もそこに直行する。

凸性の見方には3つの同値な方法があります。第1に、第2微分が至る所非負:f″(x) ≥ 0。第2に、曲線は上にカップし決して下に曲がらない。第3に、定義の絵、任意の2点間の弦は曲線より上にある。

滑らかな谷、またはボウルの内側を想像し、その沿いのどこかにビー玉を落としてください。どこから始まっても、ビー玉は常に 唯一の 最も低い点に転がり落ち、そこに落ち着きます。それはまさに凸性があなたにもたらすものです:1つの谷、偽の底がないため、どの下り坂の道も唯一の真の最小値へとつながります。

機械学習における位置づけ凸性はMLの分水嶺です。線形/ロジスティック回帰とSVMは凸損失を持つ:1つの大域的最小値、訓練は信頼でき再現可能。深層ネットワークは激しく非凸な損失を持ち、無数の局所的最小とサドルがあり、異なるランダム初期化が異なる解に着地し、学習率が極めて重要で、単一の「その」最適値がない理由です。損失が凸かどうかを知ることは、最適化器をどれだけ信頼するかを教えます。
▶ 凸性
← 第2微分テスト勾配降下法プレビュー →