선형 결합과 생성 — 선형대수학 · Mathematics for Machine Learning

벡터 몇 개와 두 가지 동작이 주어졌다고 합시다. 각각을 스케일하고(아무 수나 곱하고) 그 결과를 더하는 것입니다. 이렇게 만들어 낼 수 있는 모든 벡터를 처음 주어진 집합의 선형 결합이라고 합니다. 그리고 이렇게 도달할 수 있는 모든 벡터를 빠짐없이 모은 것을 생성(span)이라고 부릅니다.

생성은 여기서 가장 핵심이 되는 개념이므로 구체적으로 떠올려 봅시다. 영벡터가 아닌 벡터 하나를 온갖 방향으로 스케일하면 원점을 지나는 직선이 그려집니다. 정말로 서로 다른 방향을 가리키는 두 벡터는 평면 전체를 쓸고 지나갑니다. 여기에 그 평면을 뚫고 나오는 세 번째 벡터를 더하면 3차원 공간 전체를 채우게 됩니다.

블렌더에 두 가지 기본 재료 — 예를 들어 바나나 화살표와 베리 화살표 — 를 채우세요. 스무디는 각 기본 재료의 비율을 조정하고 (더 많이 또는 덜) 함께 붓는 모든 혼합물입니다; 그것이 바로 선형 결합(linear combination)입니다. 그 기본 재료들로 혼합할 수 있는 모든 스무디의 전체 메뉴가 그들의 span 입니다 — 그리고 두 기본 재료가 진정으로 다른 방향으로 당긴다면, 그 메뉴는 맛의 전체 평면을 채웁니다.

머신러닝에서의 위치생성은 정확히 «한 레이어가 표현할 수 있는 범위»에 해당합니다. 선형 레이어 Wx는 W의 열들이 만드는 생성, 즉 열공간 안에서만 출력을 낼 수 있습니다. 그 생성이 데이터에 필요한 어떤 방향을 놓치면, 입력을 아무리 골라도 그 방향을 되살릴 수 없습니다. 레이어가 구조적으로 그 방향을 보지 못하는 것입니다. 충분히 넓은 아키텍처를 고른다는 것은, 어느 정도는 도달 가능한 생성이 충분히 큰지를 확인하는 일입니다.