線形結合と張る空間

線形写像、ベクトル、行列の幾何学と代数

いくつかのベクトルと2つの操作を与える:それぞれをスケールし(任意の数を掛け)、結果を加える。この方法で構築できる任意のベクトルは、出発集合の線形結合です。到達可能なすべての集合は張る空間(スパン)と呼ばれる。

スパンがここの中心概念なので、具体的に想像する。1つの非ゼロベクトルを様々にスケールすると原点を通る直線を描く。 genuinely 異なる方向を向く2つのベクトルは平面全体を描く。その平面から突き出す3つ目を加えると3次元空間全体を埋める。

ミキサーに2つの基本の材料を入れてみてください — 例えばバナナの矢印とベリーの矢印です。スムージーは、各基本材料をスケール(増減)して一緒に注いだ任意のミックスです。それが線型結合です。それらの基本材料からブレンドできる可能性のあるすべてのスムージーのフルメニューがそれらの span です — そして、両方の基本材料が本当に異なる方向に引っ張るなら、そのメニューはフレーバーの平面全体を埋め尽くします。

機械学習における位置づけスパンはまさに「層が表現できるもの」です。線形層WxはWの列のスパン、その列空間にのみ出力を生成できる。そのスパンがデータが必要とする方向を逃すと、どんな入力の選択もそれを回復できない;層はその方向に構造的に盲目です。十分な幅を持つアーキテクチャを選ぶことは、到達可能なスパンが十分に大きいことを確保する一部。
▶ 線形結合と張る空間
← ノルム線形独立と基底 →