Konveksitas

Kalkulus satu variabel dari prinsip pertama

Konveksitas adalah bentuk yang membuat optimisasi mudah. Fungsi konveks menangkup ke atas di mana-mana, seperti mangkuk, dan satu sifat itu membuatnya mudah diminimalkan: hanya ada tepat satu titik terendah, dan jalur menurun mana pun mengarah langsung ke sana.

Ada tiga cara setara untuk melihat konveksitas. Pertama, turunan kedua tidak negatif di mana-mana: f″(x) ≥ 0. Kedua, kurva menangkup ke atas dan tidak pernah membengkok ke bawah. Ketiga, gambar definisinya: tali busur antara dua titik mana pun berada di atas kurva.

Bayangkan sebuah lembah yang mulus, atau bagian dalam sebuah mangkuk, dan jatuhkan sebuah kelereng di mana saja di sepanjangnya. Di mana pun ia mulai, kelereng tersebut selalu menggelinding turun ke titik terendah yang tunggal dan menetap di sana. Itulah persis apa yang diberikan konveksitas (kecembungan) kepada Anda: satu lembah, tidak ada dasar palsu, sehingga jalan menurun mana pun akan mengarah ke satu titik minimum sejati.

Di mana ini berlaku dalam MLKonveksitas adalah garis pemisah dalam ML. Regresi linear/logistik dan SVM memiliki loss konveks: satu minimum global, training andal dan dapat direproduksi. Deep network memiliki loss yang sangat non-konveks, dengan banyak sekali minimum lokal dan pelana, itulah mengapa inisialisasi acak berbeda mendarat di solusi berbeda, mengapa learning rate sangat penting, dan mengapa tidak ada satu optimum…
▶ Konveksitas
← Uji Turunan KeduaPratinjau Gradient Descent →