Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Một hàm mất mát lồi có một sự đảm bảo mạnh mẽ: mọi cực tiểu cục bộ đều là cực tiểu toàn cục. Điều đó khiến tối ưu hóa trở nên rõ ràng về mặt khái niệm. Nhiều mục tiêu ML kinh điển là lồi; các mạng sâu thường thì không.
Tính lồi vẫn đáng học vì nó cho ta trường hợp tham chiếu. Nó cho biết tối ưu hóa sẽ trông như thế nào nếu không có những bẫy cục bộ tồi tệ, không có những rắc rối do điểm yên ngựa, và không có những bất ngờ nghiêm trọng của địa hình.
Một chảo ăng-ten vệ tinh có một hướng ngắm duy nhất và sạch sẽ khi bề mặt tín hiệu trơn nhẵn và có một đỉnh duy nhất. Một tấm giấy bạc nhàu nát có nhiều mặt nhỏ sáng bóng có thể bắt sáng cục bộ. Tối ưu hóa lồi gần giống với cái chảo hơn; việc huấn luyện mạng sâu gần giống với tấm giấy bạc hơn. Hình bên dưới cho thấy phép thử định nghĩa trên một đường cong lồi: trượt hai điểm đầu mút và để ý rằng dây cung thẳng nối chúng không bao giờ chìm xuống dưới đường cong.