Cách các mô hình thực sự học, từ gradient descent thuần túy đến Adam
Huấn luyện với độ chính xác hỗn hợp dùng các định dạng số nhỏ hơn để tăng tốc độ và tiết kiệm bộ nhớ. Thay vì lưu mọi phép tính ở độ chính xác đầy đủ (số thực dấu phẩy động 32-bit chuẩn), nhiều phép toán dùng float16 hoặc bfloat16: các định dạng 16-bit chiếm một nửa bộ nhớ, đổi lại độ chính xác thấp hơn và, với float16, một dải giá trị biểu diễn được hẹp hơn.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Độ chính xác hỗn hợp & chia tỷ lệ mất mát