Điểm tới hạn — Giải tích tôi · Mathematics for Machine Learning

Để tìm các đỉnh và đáy của một hàm (cực đại và cực tiểu), bạn hãy tìm những điểm bằng phẳng. Ở đỉnh đồi hay đáy thung lũng, tiếp tuyến nằm ngang nên độ dốc bằng không. Đó là một điểm tới hạn.

Đặt f′(x) = 0 rồi giải sẽ cho ra các vị trí ứng viên. Đây là điều kiện cần để có một đỉnh hoặc đáy bằng phẳng, nhưng chưa đủ, vì một điểm bằng phẳng cũng có thể chỉ là một chỗ dừng tạm thời (một điểm uốn dạng yên ngựa). Bạn xác nhận nó thuộc loại nào bằng một phép thử.

Hãy hình dung một chuyến đi bộ qua những ngọn đồi nhấp nhô. Khi bạn leo lên đỉnh đồi, mặt đất nghiêng lên dưới đôi ủng của bạn; khi bạn đi xuống thung lũng, nó sẽ nghiêng theo hướng khác. Ngay trên đỉnh của một đỉnh đồi, hoặc điểm thấp nhất của đáy thung lũng, mặt đất trong giây lát là phẳng, độ dốc bằng không. Những điểm phẳng đó chính xác là những điểm quan trọng mà bạn đang tìm kiếm.

Vị trí của nó trong MLHuấn luyện một mô hình là cực tiểu hóa hàm mất mát, và điểm cực tiểu nằm ở nơi độ dốc bằng 0: chính là điều kiện điểm tới hạn, được tổng quát hóa cho nhiều biến (∇L = 0). Hạ gradient là một cuộc truy tìm bằng số cho điểm bằng phẳng đó. Ở số chiều cao, phần lớn các điểm tới hạn là điểm yên ngựa chứ không phải cực tiểu thực sự, đó là lý do tối ưu hóa trong học sâu rất tinh tế: chỉ riêng điều kiện…