Chuẩn

Hình học và đại số của các ứng dụng tuyến tính, vectơ và ma trận

Chuẩn trả lời câu hỏi "vectơ này lớn đến mức nào?". Nó đo độ dài. Điều đáng chú ý là có nhiều cách hợp lý để đo độ dài, và lựa chọn này âm thầm định hình cách các mô hình học máy hoạt động.

Mặc định là chuẩn L2 (Euclid): khoảng cách đường thẳng từ gốc tọa độ đến đầu mũi tên, theo định lý Pythagoras. Thay vào đó, chuẩn L1 cộng các giá trị tuyệt đối của tọa độ, tức khoảng cách "taxi", như thể bạn chỉ được di chuyển dọc theo các đường lưới. Chuẩn L∞ chỉ lấy tọa độ lớn nhất duy nhất.

Hãy tưởng tượng bạn đang đi bộ xuyên thị trấn từ góc này sang góc khác. Khoảng cách theo đường thẳng như chim bay là tiêu chuẩn L2 — mà máy bay không người lái sẽ bay. Nhưng nếu đường phố buộc bạn chỉ di chuyển dọc theo mạng lưới, thì khoảng cách trong thành phố mà bạn thực sự đi bộ là tiêu chuẩn L1. Cùng một chuyến đi, hai thước đo trung thực là “bao xa” và lộ trình như lưới không bao giờ ngắn hơn đường chim bay.

Vị trí của nó trong MLCác chuẩn ở khắp nơi. Suy giảm trọng số L2 phạt ‖w‖₂² và kéo mọi trọng số nhẹ nhàng về 0, giữ cho mô hình trơn tru. Chính quy hóa L1 phạt ‖w‖₁ và đẩy nhiều trọng số về đúng bằng 0, cho ra một mô hình thưa biết chọn lọc đặc trưng (chính các đỉnh nhọn của hình thoi ở trên là lý do). Chuẩn của gradient ‖∇L‖₂ được theo dõi trong quá trình huấn luyện, và kỹ thuật "cắt gradient" sẽ co giãn lại nó khi…
▶ Chuẩn
← Tích vô hướngTổ hợp tuyến tính & Không gian sinh →