Giới hạn

Tính toán một biến từ nguyên tắc đầu tiên

Giới hạn trả lời một câu hỏi rất cẩn trọng: khi đầu vào tiến lại càng lúc càng gần một giá trị a nào đó, thì đầu ra hướng về con số nào? Điều quan trọng là chuyện gì xảy ra tại chính a lại không quan trọng; thậm chí hàm số có thể không được xác định ở đó. Giới hạn nói về quá trình tiến tới, chứ không phải về đích đến.

Hãy kéo đầu vào tiến về phía a trong hình và xem đầu ra ổn định ở giá trị L, ngay cả khi đi xuyên qua một lỗ nhỏ nơi hàm không có giá trị riêng.

Bạn có thể tiến đến a từ bên trái (lấy các giá trị nhỏ hơn a một chút) hoặc từ bên phải (lấy các giá trị lớn hơn một chút). Đây là hai giới hạn một phía. Giới hạn đầy đủ (hai phía) chỉ tồn tại khi cả hai phía đều dồn về cùng một con số. Nếu phía trái hướng tới một giá trị còn phía phải hướng tới một giá trị khác, thì có một bước nhảy và giới hạn không tồn tại.

Vị trí của nó trong MLGiới hạn là nền tảng của đạo hàm (giới hạn của độ dốc) và tích phân (giới hạn của tổng), hai công cụ huấn luyện. Chúng cũng định nghĩa chặt chẽ thế nào là "hội tụ": tổn thất huấn luyện hội tụ về mức sàn của nó chính là một giới hạn. Và những cái bẫy 0/0 mà bạn học cách gỡ ở đây đúng là các vấn đề ổn định số học có thể xuất hiện trong thực tế (ví dụ: tính log-của-softmax một cách an toàn).
▶ Giới hạn
← Đọc đồ thịTính liên tục →