モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
損失地形とは、パラメータ空間全体にわたるL(θ)の形のことだ。ニューラルネットワークの場合、それは高次元で非凸だ。広く平らな区域、鋭く曲がった区域、ある方向では上りながら別の方向では下るサドル点、そしてしばしば互いに繋がっていることが分かる、多くの独立した低損失領域を持つ。
実際の地形を直接視覚化することはできないが、局所的な幾何については考えることができる。勾配、曲率、ノイズ、そして異なる最適化アルゴリズムがそこをどう動くかだ。
強風のあとの砂丘地帯には、広く平らな区域、鋭い尾根、そしてある方向からは平らに見えるのに別の方向からは傾いて見える経路がある。損失地形も同じ問題を抱えている。局所的な形は方向によって変わるのだ。下の図でその最も重要な形を自分で作ることができる。2つの曲率をスライドさせて、一方が正、もう一方が負になるようにしてほしい。それがサドルだ。ある直線に沿っては平らで、別の直線に沿っては傾いており、これが高次元の地形を支配する種類の停留点だ。