Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Việc tối ưu hóa có thể thất bại trước khi bắt đầu nếu thang đo ban đầu sai. Nếu trọng số quá nhỏ, tín hiệu và gradient có thể biến mất dần. Nếu trọng số quá lớn, các kích hoạt và gradient có thể bùng nổ hoặc bão hòa.
Khởi tạo chọn một phân phối ban đầu cho trọng số sao cho độ lớn tín hiệu vẫn tương đối ổn định khi nó di chuyển qua các lớp. Khởi tạo Xavier và He là hai quy tắc phổ biến.
Ánh sáng sân khấu phải bắt đầu ở đúng mức. Quá tối thì diễn viên biến mất. Quá sáng thì cảnh diễn bị rửa trôi. Khởi tạo thiết lập độ sáng ban đầu của tín hiệu để mỗi lớp có thể truyền thông tin hữu ích cả xuôi lẫn ngược. Hình bên dưới cho thấy mối nguy cốt lõi dưới dạng toán học thuần túy: một tín hiệu được nhân với cùng khoảng một hệ số r ở mỗi lớp chính là một dãy hình học. Hãy trượt r xuống ngay dưới hoặc lên ngay trên 1 và xem điều gì xảy ra với tín hiệu qua nhiều lớp: im lặng hoặc bùng nổ. Khởi tạo tồn tại để giữ hệ số đó gần 1.