Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Địa hình hàm mất mát là hình dạng của L(θ) trên không gian tham số. Với các mạng nơ-ron nó có số chiều cao và không lồi: nó có những đoạn phẳng rộng, những đoạn cong mạnh, các điểm yên ngựa leo lên theo một số hướng trong khi rơi xuống theo các hướng khác, và nhiều vùng mất mát thấp riêng biệt mà thường hóa ra lại được kết nối với nhau.
Bạn không thể trực quan hóa địa hình thực trực tiếp, nhưng bạn có thể suy luận về hình học cục bộ: gradient, độ cong, nhiễu, và cách các bộ tối ưu hóa khác nhau di chuyển qua chúng.
Một khu vực cồn cát sau một trận gió mạnh có những mảng phẳng rộng, những rặng sắc nhọn, và những con đường trông có vẻ bằng phẳng từ một hướng nhưng lại dốc từ hướng khác. Địa hình hàm mất mát cũng gặp cùng vấn đề đó: hình dạng cục bộ phụ thuộc vào hướng. Bạn có thể tự dựng hình dạng quan trọng nhất đó trong hình bên dưới: trượt hai độ cong cho tới khi một cái dương và cái kia âm. Đó là một điểm yên ngựa, phẳng dọc theo một đường và dốc dọc theo một đường khác, và đó là loại điểm dừng chi phối các địa hình số chiều cao.