Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Loss yang konveks memiliki jaminan yang kuat: setiap minimum lokal adalah minimum global. Itu membuat optimisasi bersih secara konseptual. Banyak objective ML klasik bersifat konveks; jaringan deep learning biasanya tidak.
Konveksitas tetap layak dipelajari karena ia memberi kasus acuan. Ia memberi tahu Anda seperti apa optimisasi seandainya tidak ada jebakan lokal yang buruk, tidak ada komplikasi pelana, dan tidak ada kejutan lanskap yang parah.
Sebuah piringan satelit memiliki satu arah bidik yang bersih ketika permukaan sinyalnya mulus dan berpuncak tunggal. Kertas alumunium yang kusut memiliki banyak facet kecil mengkilap yang bisa menangkap cahaya secara lokal. Optimisasi konveks lebih dekat ke piringan satelit; training jaringan deep learning lebih dekat ke kertas kusut itu. Gambar di bawah ini menunjukkan uji yang mendefinisikan kurva konveks: geser kedua titik ujungnya dan perhatikan bahwa tali busur lurus di antara keduanya tidak pernah turun di bawah kurva.