ブリーフ：関数のベクトル空間 — 微分積分学 I

関数はベクトルのように振る舞います。2つの矢印を足し、矢印に数を掛けることができるのは既に知っています。関数にも全く同じ2つのことができ、ベクトルについて知っていることのほぼすべてがそのまま当てはまります。

2つの関数を足すには、各点で足します：すべての入力xで、新しい関数の出力は2つの出力の和です。関数を数cでスケールするには、すべての出力にcを掛けます。この2つの操作こそが「ベクトル空間」を构成するものです。

同時に再生されている2つのオーディオトラック、ベースラインとメロディーを考えてみてください。それらをミックスするには、関数を点ごとに足し合わせるのと全く同じように、2つの波形を瞬間ごとに足し合わせます。そして、一方のトラックのボリュームつまみを 70% に回すことは、あらゆる瞬間にその関数を 0.7 倍にスケーリングすることにすぎません。ミキシングとボリューム調整は加法とスカラー倍であり、この2つの動きが関数をベクトルのように振る舞わせます。

機械学習における位置づけ線形層は基底特徴の重み付き和を出力します：まさに学習された重みによる「c₁·f₁ + c₂·f₂ + …」です。フーリエ特徴、多項式特徴、ネットワークの隠れユニットはすべて、関数空間をスパンするために組み合わせる基底です。ネットワークが「汎用近似器」と言われるとき、その構成要素がほぼ何にでも近づくのに十分豊かな関数空間をスパンすることを意味します。