Đạo hàm theo hướng

Phép tính đa biến từ nguyên tắc đầu tiên

Đạo hàm riêng chỉ cho bạn biết độ dốc dọc theo các trục tọa độ, nhưng bạn có thể đi theo bất kỳ hướng nào. Đạo hàm theo hướng D_u f trả lời: nếu tôi bước dọc theo vectơ đơn vị u thì f thay đổi nhanh đến đâu? Câu trả lời hóa ra là một tích vô hướng đơn giản với gradient.

Hãy tưởng tượng bạn đang đi bộ qua cùng một ngọn đồi đó, nhưng thay vì hướng thẳng lên dốc, bạn chọn phương hướng la bàn, chẳng hạn như hướng đông bắc và đi theo hướng đó. Đạo hàm có hướng D_u f là độ dốc mà bạn thực sự cảm thấy dưới ủng của mình dọc theo tiêu đề đó. Đi về hướng dốc nhất và bạn cảm nhận được toàn bộ quá trình leo lên; rẽ ngang dọc theo sườn đồi và mặt đất có cảm giác bằng phẳng.

Vì D_u f = ∇f·u = ‖∇f‖‖u‖cos θ = ‖∇f‖cos θ (do u là vectơ đơn vị), tốc độ thay đổi lớn nhất xảy ra đúng khi cos θ = 1, tức là khi u chỉ cùng hướng với ∇f. Hãy xoay mũi tên hướng bên dưới và quan sát chỉ số tốc độ đạt đỉnh khi nó thẳng hàng với gradient, và biến mất khi nó vuông góc.

Vị trí của nó trong MLĐây là định lý biện minh cho gradient descent. Trong tất cả các hướng bạn có thể bước, −∇L giảm mất mát nhanh nhất. Vậy nên nếu bạn thắc mắc tại sao các bước huấn luyện đi dọc theo gradient chứ không phải hướng nào khác, thì đây là câu trả lời: gradient là lựa chọn cục bộ tốt nhất, và đó là lý do w ← w − η∇L là bước cập nhật phổ biến.
▶ Đạo hàm theo hướng
← GradientXấp xỉ tuyến tính →