Ứng dụng

Tính toán một biến từ nguyên tắc đầu tiên

Lợi ích thực sự của Taylor trong ML là tuyến tính hóa: thay một hàm phi tuyến khó nhằn bằng đường tiếp tuyến của nó gần một điểm cần quan tâm. Trong một phạm vi nhỏ, xấp xỉ tuyến tính gần như chính xác, và những thứ tuyến tính thì dễ phân tích, tính toán và lý giải hơn nhiều.

sigmoid σ(x) = 1/(1 + e⁻ˣ) là phi tuyến nén quen thuộc. Gần x = 0 nó đi qua ½ với độ dốc ¼, nên xấp xỉ tuyến tính của nó là:

Bản đồ đường phố bằng giấy phẳng coi Trái đất hình tròn như một chiếc máy bay ở gần một thành phố. Trong vài km, độ cong quá nhỏ để có thể quan sát được, do đó tấm phẳng đủ chính xác để di chuyển, mặc dù hành tinh này thực sự là một hình cầu. Tuyến tính hóa cũng thực hiện tương tự đối với một hàm: gần một điểm, nó hoán đổi đường cong thực cho đường tiếp tuyến f(x) ≈ f(0) + f′(0)·x, đủ chính xác cục bộ và dễ dàng làm việc hơn nhiều.

Vị trí của nó trong MLTuyến tính hóa là một phản xạ cốt lõi trong ML. Các xấp xỉ góc nhỏ và đầu vào nhỏ giúp đơn giản hóa việc phân tích các hàm kích hoạt (sigmoid, GELU, softmax) gần điểm vận hành của chúng. Tuyến tính hóa một mạng quanh các trọng số hiện tại của nó cho ra nhân tiếp tuyến nơ-ron (neural tangent kernel) và làm nền tảng cho cách ta lý giải về động lực huấn luyện. Và về căn bản, mọi thuật toán tối ưu…
▶ Ứng dụng
← Các chuỗi Taylor thường gặpVectơ trong Rⁿ →