Tính lồi

Tính toán một biến từ nguyên tắc đầu tiên

Tính lồi là hình dạng giúp việc tối ưu hóa trở nên dễ dàng. Một hàm lồi cong lên trên ở mọi nơi, giống như một cái bát, và chỉ riêng tính chất đó đã khiến nó dễ cực tiểu hóa: có đúng một điểm thấp nhất, và bất kỳ con đường đi xuống dốc nào cũng dẫn thẳng tới đó.

Có ba cách tương đương để nhìn tính lồi. Thứ nhất, đạo hàm bậc hai không âm ở mọi nơi: f″(x) ≥ 0. Thứ hai, đường cong cong lên và không bao giờ cong xuống. Thứ ba, hình ảnh dễ nhận diện nhất, dây cung nối hai điểm bất kỳ luôn nằm phía trên đường cong.

Hãy tưởng tượng một thung lũng bằng phẳng hoặc bên trong một cái bát và thả một viên bi vào bất cứ đâu dọc theo nó. Bất kể nó bắt đầu từ đâu, viên bi luôn lăn xuống điểm thấp nhất và lắng xuống ở đó. Đó chính xác là những gì mà sự lồi mang lại cho bạn: một thung lũng, không có đáy giả, do đó bất kỳ đường đi xuống nào cũng dẫn đến một mức tối thiểu thực sự.

Vị trí của nó trong MLTính lồi là ranh giới phân chia trong ML. Hồi quy tuyến tính/logistic và SVM có hàm mất mát lồi: một cực tiểu toàn cục, quá trình huấn luyện đáng tin cậy và tái lập được. Mạng sâu có hàm mất mát không lồi dữ dội, với vô số cực tiểu cục bộ và điểm yên ngựa, đó là lý do các khởi tạo ngẫu nhiên khác nhau cho ra các nghiệm khác nhau, tại sao tốc độ học lại quan trọng đến vậy, và tại sao không có một…
▶ Tính lồi
← Phép thử đạo hàm bậc haiXem trước về hạ gradient →