Phép tính đa biến từ nguyên tắc đầu tiên
Gom mọi đạo hàm riêng của f vào một vectơ và bạn được gradient, ký hiệu là ∇f ("grad f"). Mọi bộ tối ưu hóa trong học sâu đều chạy trên đối tượng duy nhất này, nên nó giữ vị trí trung tâm của khóa học.
Gradient không chỉ là sổ sách kế toán. Là một vectơ trong không gian đầu vào, nó có hướng và độ dài, cả hai đều mang ý nghĩa. Hướng của nó là hướng lên dốc nhất: hãy đi theo ∇f và hàm sẽ tăng nhanh nhất có thể. Độ dài của nó ‖∇f‖ chính xác là độ dốc của chuyến leo đó.
Hãy tưởng tượng bạn đang đứng trên một ngọn đồi đầy cỏ trong sương mù. Độ dốc ∇f là mũi tên chỉ thẳng lên phần dốc nhất của con dốc và độ dài của nó cho bạn biết việc leo lên đó khó khăn như thế nào. Đặt một quả bóng xuống và thả ra: nó lăn theo hướng ngược lại, rơi xuống theo cách nhanh nhất.