Giới hạn & Tính liên tục trong Rⁿ

Phép tính đa biến từ nguyên tắc đầu tiên

Trên một đường thẳng, bạn chỉ có thể tiến đến một điểm từ hai phía, trái và phải. Trong mặt phẳng và xa hơn nữa, bạn có thể tiến đến một điểm từ vô số hướng, dọc theo bất kỳ con đường nào bạn thích. Sự tự do thêm vào đó khiến giới hạn trong Rⁿ thực sự khó hơn, và bài học này là một lời cảnh báo nhiều hơn là một công thức.

Hàm f có giới hạn L tại một điểm p chỉ khi nó tiến tới cùng một L bất kể bạn đi theo con đường nào. Nếu hai con đường khác nhau cho ra hai câu trả lời khác nhau, thì giới hạn đơn giản là không tồn tại.

Bạn đồng ý gặp một người bạn tại đài phun nước ở giữa quảng trường. Bạn có thể đi bộ về phía nó từ lối vào phía bắc, con hẻm phía đông hoặc bất kỳ đường chéo quanh co nào trên quảng trường, nhưng bạn phải đến cùng một đài phun nước. Giới hạn trong Rⁿ yêu cầu chính xác điều này: hàm phải hướng tới một giá trị cho dù bạn đi theo đường nào. Nếu hai cách tiếp cận không đồng ý về nơi chúng đến thì sẽ không có điểm gặp nhau và giới hạn không tồn tại.

Vị trí của nó trong MLHuấn luyện dựa trên gradient hoạt động được phần lớn vì gần như mọi hàm trong học sâu đều liên tục: một cú huých nhỏ vào trọng số tạo ra một thay đổi mất mát nhỏ, nên gradient mới có ý nghĩa. Ngoại lệ nổi tiếng là ReLU, max(0, x), liên tục ở mọi nơi nhưng có một điểm gấp khúc tại 0, nơi đạo hàm nhảy. Một cảnh quan trơn nhẵn là điều mà gradient descent đều đặn dựa vào, và nơi nó vỡ ra (chính tại…
▶ Giới hạn & Tính liên tục trong Rⁿ
← Hàm f: Rⁿ → RᵐĐạo hàm riêng →