Türevlenebilirlik

Single-variable calculus from first principles

Bir fonksiyon bir noktada tek, iyi tanımlanmış bir eğime sahipse o noktada türevlenebilirdir: bir teğet doğru vardır, belirsizlik yoktur. Çoğu düzgün eğri her yerde türevlenebilirdir. Ama bazı fonksiyonlar, tamamen sürekli olmalarına rağmen, eğimin belirlenemediği bir noktaya sahiptir. Türevlerin nerede başarısız olduğunu anlamak, onları hesaplamak kadar önemlidir.

Bir fonksiyonun bir noktada eğimi varsa, orada sıçrama yapamaz; bu yüzden türevlenebilir ⇒ sürekli. Tersi yanlıştır: bir fonksiyon sürekli olabilir (kalemini kaldırmadan çizilebilir) ama yine de bir noktada eğime sahip olmayabilir. "Sürekli" ile "türevlenebilir" arasındaki fark, ilginç kısmın ta kendisidir.

Mutlak değer |x| standart örnektir. Her yerde süreklidir; 0'da kopma yoktur. Ama tam köşede, soldan gelen eğim −1, sağa çıkan eğim +1 olur. İki farklı eğim keskin bir noktada buluşur, bu yüzden tek bir teğet yoktur. x = 0 noktasında türev yoktur.

Bunun ML'deki yeriEn yaygın aktivasyon olan ReLU, kelimenin tam anlamıyla max(0, x) fonksiyonudur: |x| gibi 0'da bir köşe. Türevi tam 0 noktasında tanımsızdır, bu yüzden framework'ler basitçe bir değer seçer (genellikle 0); buna "alt gradyan" denir. ReLU'nun köşeleri, L1 düzenlileştirmenin kırıkları ve hinge loss'un pürüzsüz olmaması, bu aynı sorunun ortaya çıktığı ve alt gradyanlarla ele alındığı yerlerdir.
▶ Türevlenebilirlik
← TürevTemel Türev Kuralları →