Đạo hàm

Tính toán một biến từ nguyên tắc đầu tiên

Đạo hàm trả lời một câu hỏi: một hàm số thay đổi nhanh như thế nào tại một thời điểm? Về mặt hình học, đó là độ dốc của đường cong tại một điểm, độ dốc của đường tiếp tuyến vừa chạm vào đường cong tại đó.

Hãy nghĩ về đồng hồ tốc độ trong một chiếc ô tô đang di chuyển. Tốc độ trung bình của bạn trong một giờ là tổng khoảng cách chia cho tổng thời gian, nhưng kim hiển thị thứ gì đó sắc nét hơn: chính xác bạn đang đi nhanh như thế nào ngay lúc này. Đạo hàm chính là chiếc kim đó, tốc độ thay đổi được cố định tại một thời điểm thay vì bôi trơn trong một khoảng thời gian.

Nhưng đây mới là điều hóc búa. Độ dốc cần đến hai điểm: độ cao chia cho độ ngang. Một điểm duy nhất không cho bạn chỗ nào để đo. Vậy làm sao một điểm đơn lẻ lại có độ dốc? Bí quyết là tiến lại gần nó từ từ.

Vị trí của nó trong MLgradient dùng để huấn luyện mọi mạng nơ-ron chính xác là đạo hàm này, được áp dụng cho hàm mất mát. Đại lượng ∂L/∂w là độ dốc của mất mát khi bạn xê dịch một trọng số w: dấu của nó cho bạn biết hướng nào làm giảm mất mát, còn độ lớn của nó cho bạn biết mất mát nhạy đến đâu với trọng số đó. Việc huấn luyện chỉ là vậy: tính giới hạn này (thực ra là một bộ máy vi phân tự động làm điều đó cho bạn —…
▶ Đạo hàm
← Tính liên tụcTính khả vi →