モデルが実際にどう学習するか — 普通の勾配降下法からAdamまで
ハイパーパラメータとは、学習されるパラメータの外側で設定される、訓練上の選択事項だ。学習率、バッチサイズ、重み減衰、ウォームアップの長さ、ドロップアウト、モデルの幅など、数多くある。
ハイパーパラメータ探索とは、自分自身を欺くことなく、いろいろな構成を試していく過程のことだ。目標は運の良い1回の実行を見つけることではない。検証データの上で信頼して機能する設定を見つけることが目標だ。
塗料の色見本カードが、この探索という発想を具体的にしてくれる。考えられるすべての色で部屋を塗り直したりはしない。体系立てられた色見本のセットを試し、範囲を絞り込み、そのうえで最も見込みのある色合いを正しい光のもとで試す。ハイパーパラメータ探索も、同じように訓練の選択肢を絞り込んでいく。下の図は、それぞれの色見本を採点する仕組みを示している。検証フォールドをローテーションさせることで、どの候補設定も、訓練に一度も使っていないデータで判定される。その正直な採点こそが、探索と運の良い1回の実行とを分けるものだ。