Xấp xỉ tuyến tính

Phép tính đa biến từ nguyên tắc đầu tiên

Khi nhìn gần, mọi mặt cong trơn nhẵn đều trông phẳng, giống như Trái Đất có cảm giác phẳng dưới chân bạn. Xấp xỉ tuyến tính thay thế hàm cong gần một điểm bằng mặt phẳng tiếp tuyến phẳng vừa chạm vào điểm đó. Gradient cung cấp độ nghiêng của mặt phẳng ấy.

Đọc thành lời: giá trị mới ≈ giá trị cũ, cộng với gradient nhân vô hướng với bước bạn vừa đi. Tích vô hướng đó là đạo hàm theo hướng nhân với độ dài bước, là dự đoán tuyến tính tốt nhất cho lượng f đã dịch chuyển.

Nhấn một miếng dán phẳng nhỏ lên một quả bóng bãi biển và ngay tại vị trí đặt nó, quả bóng cong trông phẳng hoàn toàn. Phép tính gần đúng tuyến tính là nhãn dán đó: một mặt phẳng tiếp tuyến phẳng tiếp xúc với bề mặt tại một điểm và đại diện cho đường cong gần đó. Đi quá xa trên quả bóng và nhãn dán sẽ bong ra khỏi bề mặt — dự đoán sẽ biến mất.

Vị trí của nó trong MLMột bước gradient descent chính là một xấp xỉ tuyến tính đang hoạt động. Bước cập nhật w ← w − η∇L giả định rằng thay đổi mất mát được dự đoán tốt bởi số hạng tuyến tính ∇L·δ. Khi bước quá lớn, độ cong mà bạn bỏ qua (số hạng ‖δ‖²) phản đòn lại và mất mát có thể vọt qua hoặc phân kỳ. Tốc độ học η giữ bạn trong vùng mà việc coi mặt cong là phẳng vẫn đủ gần với sự thật.
▶ Xấp xỉ tuyến tính
← Đạo hàm theo hướngMa trận Jacobi →