Xem trước về hạ gradient

Tính toán một biến từ nguyên tắc đầu tiên

Giả sử bạn muốn tìm điểm thấp nhất của một đường cong, nhưng bạn chỉ nhìn thấy mặt đất ngay dưới chân mình — bạn chỉ cảm nhận được độ dốc, không gì hơn. Bạn sẽ làm gì? Đơn giản: bước theo hướng đi xuống dốc, rồi cảm nhận lại, rồi bước tiếp. Lặp lại. Đó là hạ gradient, thuật toán huấn luyện về cơ bản mọi mô hình AI hiện đại.

Hãy tưởng tượng bạn đang đi xuống dốc trong sương mù dày đặc đến mức bạn không thể nhìn thấy bước phía trước. Bạn không thể xác định được đáy thung lũng, nhưng bạn vẫn có thể dùng chân cảm nhận hướng mặt đất dốc xuống và bước một bước theo hướng đó. Cảm nhận, bước đi, cảm nhận, bước đi. Độ dốc giảm xuống chính xác là mù quáng, kiên nhẫn di chuyển về phía mặt đất thấp nhất.

Viết dưới dạng một quy tắc cập nhật vị trí của bạn theo từng bước:

Vị trí của nó trong MLMột dòng duy nhất này là trái tim của mọi bộ tối ưu trong học sâu. Bản cập nhật trọng số về bản chất là giống hệt: w ← w − η∇L, trong đó ∇L chỉ là đạo hàm nhiều chiều (gradient) ở khóa học tiếp theo. SGD, Adam, RMSProp và những thuật toán còn lại đều là các cải tiến của khung này — kích thước bước, động lượng, tốc độ riêng cho từng tham số thông minh hơn — nhưng cốt lõi chính xác là quy tắc ở…
▶ Xem trước về hạ gradient
← Tính lồiQuy trình phác thảo đồ thị có hệ thống →