モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
凸損失には強力な保証がある。すべての局所最小値が大域最小値になるのだ。それが最適化を概念的にすっきりさせる。多くの古典的なMLの目的関数は凸だが、深層ネットワークは普通そうではない。
それでも凸性を学ぶ価値はある。それが基準となるケースを与えてくれるからだ。悪い局所的な罠も、サドル点による複雑さも、深刻な地形の不意打ちもなければ最適化はどう見えるかを教えてくれる。
パラボラアンテナは、信号面が滑らかで単一のピークを持つとき、きれいに1つの照準方向を持つ。くしゃくしゃにしたホイル紙には、局所的に光を反射する小さな輝く面がたくさんある。凸最適化はパラボラアンテナに近く、深層ネットワークの訓練はホイル紙に近い。下の図は凸曲線上での決定的なテストを示している。両端点をスライドさせて、その2点を結ぶ直線の弦が決して曲線の下に沈まないことに注目してほしい。