Phép tính đa biến từ nguyên tắc đầu tiên
Một số bài toán tối ưu thì dễ và một số thì khó, và có một tính chất vạch ra ranh giới: tính lồi. Hàm lồi chỉ có một cái bát duy nhất, không có đáy giả, nên hễ tìm được một nơi gradient bằng 0 thì có nghĩa là bạn đã tìm thấy cực tiểu toàn cục. Không điểm yên ngựa, không bẫy cục bộ.
Hình ảnh định nghĩa: một hàm là lồi nếu đoạn thẳng nối hai điểm bất kỳ trên đồ thị của nó nằm bên trên (hoặc trùng với) chính đồ thị đó. Hàm này không bao giờ vồng lên trên dây cung của chính nó.
Hãy so sánh một chiếc bát salad mịn màng với một hộp đựng trứng gập ghềnh. Chiếc bát có một đáy thật: lăn một viên bi vào từ bất cứ đâu và nó luôn nằm ở cùng một điểm thấp. Hộp đựng trứng chứa đầy những cái bẫy nhỏ, mỗi cái có một đáy giả để chặn viên bi ở dưới cùng. Một hàm lồi là cái bát salad và mức tối thiểu được đảm bảo duy nhất đó là yếu tố giúp bạn dễ dàng tối ưu hóa.