야코비안 기하학 — 미적분학 II · Mathematics for Machine Learning

야코비안을 정방으로(입력 n개, 출력 n개) 만들면, 그 행렬식이 구체적인 기하학적 역할을 맡습니다. 선형대수에서 행렬의 행렬식은 부피를 늘리는 배율이었습니다. 야코비 행렬식은 사상이 지나가면서 공간의 작은 조각을 얼마나 늘리거나 줄이는지를 알려 줍니다.

|det J| > 1이면 입력 공간의 작은 상자가 더 크게 나오므로, 사상은 팽창합니다. |det J| 이면 더 작게 나오므로 수축합니다. det J = 0이면 상자가 납작하게 짓눌립니다. 사상이 한 차원을 붕괴시키며, 국소적으로 역을 가질 수 없게 됩니다.

신축성 있는 고무 시트 위에 작은 정사각형을 그린 다음, 시트를 당겨서 격자를 왜곡해 보십시오. 야코비안 행렬식은 그 작은 정사각형의 넓이가 늘어나면서 얼마나 커지거나 줄어들었는지를 알려주는 단일 숫자입니다. 고무를 양방향으로 당기면 정사각형이 부풀어 오르고, 하나의 주름 위로 짓누르면 그 넓이가 0으로 떨어집니다.

머신러닝에서의 위치평범한 가우시안 분포를 복잡한 데이터 분포로 구부려 만들고 싶다고 해 봅시다. 정규화 흐름이 바로 그런 일을 하며, 단순한 밀도에서 복잡한 밀도로 가는 가역 사상 g를 학습합니다. g가 공간을 늘리면 확률 질량이 새어 나가므로 다시 맞춰 주어야 합니다. 그래서 변수 변환 공식 p_X(x) = p_Z(g⁻¹(x))·|det J|가 야코비 행렬식을 이용해 전체 확률을 1로 유지합니다. coupling layer나 자기회귀 흐름 같은 흐름 구조는 이 det J를 값싸게 계산할 수 있도록 설계되어 있습니다.