Kekonveksan

Kalkulus multivariabel dari prinsip pertama

Beberapa masalah optimisasi mudah dan beberapa sulit, dan satu sifat menarik garis: kekonveksan. Fungsi konveks memiliki bentuk mangkuk tunggal tanpa dasar palsu, jadi menemukan tempat gradien nol berarti Anda menemukan satu-satunya minimum global. Tidak ada pelana, tidak ada jebakan lokal.

Gambar pendefinisi: fungsi konveks jika tali busur lurus antara dua titik mana pun pada grafiknya berada di atas (atau pada) grafik itu sendiri. Fungsi tidak pernah menonjol di atas pintasannya sendiri.

Bandingkan mangkuk salad yang halus dengan karton telur yang bergelombang. Mangkuk memiliki satu dasar sejati: gulingkan kelereng dari mana saja dan kelereng akan selalu menetap di titik rendah yang sama. Karton telur penuh dengan perangkap kecil, masing-masing berupa dasar palsu yang menangkap kelereng kurang dari yang terendah. Fungsi cembung adalah mangkuk salad, dan satu nilai minimum terjamin itu adalah yang membuatnya mudah untuk dioptimalkan.

Di mana ini berlaku dalam MLPerpecahan konveks/non-konveks menjelaskan banyak ML. Regresi linear dan logistik konveks, jadi gradient descent terbukti mencapai optimum global dan dua kali run setuju. Jaringan dalam sangat non-konveks, penuh titik kritis, dengan hasil yang bergeser dengan inisialisasi dan keacakan. Celah itu mengapa ML klasik terasa dapat diandalkan dan deep learning terasa rewel. Ketidaksamaan Jensen,…
▶ Kekonveksan
← Titik Kritis di RⁿOptimisasi Terkendala →