Tính khả vi

Tính toán một biến từ nguyên tắc đầu tiên

Một hàm là khả vi tại một điểm nếu nó có một độ dốc duy nhất, được xác định rõ ràng tại đó: một đường tiếp tuyến, không có sự mơ hồ. Hầu hết các đường cong trơn đều khả vi ở mọi nơi. Nhưng một số hàm số, dù hoàn toàn liên tục, lại có một điểm mà độ dốc không thể xác định được. Hiểu được đạo hàm thất bại ở đâu cũng quan trọng như việc tính được chúng.

Nếu một hàm có hệ số góc tại một điểm thì nó không thể nhảy vọt tại đó, vì vậy khả vi ⇒ liên tục. Chiều ngược lại là sai: một hàm có thể liên tục (vẽ được mà không cần nhấc bút) nhưng vẫn không có độ dốc tại một điểm nào đó. Khoảng cách giữa "liên tục" và "khả vi" chính là phần thú vị.

Giá trị tuyệt đối |x| là ví dụ điển hình. Nó liên tục ở mọi nơi, không có bước nhảy tại 0. Nhưng ngay tại góc nhọn, hệ số góc khi tiến đến từ bên trái là −1 còn hệ số góc khi tiến đến từ bên phải là +1. Hai hệ số góc khác nhau gặp nhau tại một điểm nhọn, nên không có một tiếp tuyến duy nhất nào. Đạo hàm không tồn tại tại x = 0.

Vị trí của nó trong MLReLU, hàm kích hoạt phổ biến nhất, theo đúng nghĩa đen là max(0, x): một góc nhọn tại 0, giống như |x|. Đạo hàm của nó không xác định ngay tại 0, vì vậy các thư viện đơn giản là chọn một giá trị (thường là 0), gọi là "đạo hàm dưới vi phân". Các góc nhọn của ReLU, các điểm gãy khúc của chính tắc hóa L1 và tính không trơn của hàm mất mát bản lề đều là những nơi mà chính vấn đề này xuất hiện và được…
▶ Tính khả vi
← Đạo hàmQuy tắc đạo hàm cơ bản →