Điểm tới hạn trong Rⁿ

Phép tính đa biến từ nguyên tắc đầu tiên

Tối ưu hóa trong không gian nhiều chiều bắt đầu đúng ở chỗ trường hợp một chiều bắt đầu: tìm nơi độ dốc bằng 0. Nhưng giờ 'độ dốc' là cả vectơ gradient, nên một điểm tới hạn là nơi mọi đạo hàm riêng đồng thời triệt tiêu, ∇f = 0.

Đây là điều kiện cần nhưng chưa đủ: gradient bằng 0 đánh dấu một cực tiểu, cực đại hoặc điểm yên ngựa. Để phân biệt chúng, bạn đưa Hessian vào và đọc dấu các giá trị riêng của nó — phép thử bậc hai từ Bài 13. Gradient bằng 0 định vị ứng viên; Hessian phân loại nó.

Đi bộ trên một sân gôn có đồi núi và tìm kiếm những điểm bằng phẳng, những nơi mà quả bóng có thể nằm yên. Điểm phát bóng trên đỉnh đồi, điểm xanh thấp trong vùng trũng và điểm yên phẳng dọc theo sườn núi đều là những điểm mà mặt đất tạm thời bằng phẳng theo mọi hướng. Độ phẳng đó là ∇f = 0; việc bạn đang ở trên đỉnh, trong chỗ trũng hay trên yên ngựa là một câu hỏi riêng biệt mà câu trả lời của Hessian.

Vị trí của nó trong MLMỗi lần chạy huấn luyện dựa trên gradient là một cuộc tìm kiếm ∇L = 0: bộ tối ưu tiếp tục đi xuống cho đến khi gradient nhỏ không đáng kể. Vì câu chuyện điểm yên ngựa (Bài 13), cái mà nó thường tìm thấy không phải là cực tiểu toàn cục mà là một trong vô số vùng mất mát thấp gần như tương đương nhau. Vì sao giảm gradient lại đáng tin cậy đạt được kết quả đủ tốt phần lớn vẫn là một bí ẩn thực…
▶ Điểm tới hạn trong Rⁿ
← Đồ thị tính toánTính lồi →