Bagaimana model sebenarnya belajar, dari gradient descent dasar hingga Adam
Machine learning tampak seperti prediksi, klasifikasi, generasi, rekomendasi. Namun di baliknya hanya ada satu tindakan matematis yang diulang-ulang: pilih angka, ukur seberapa buruk angka itu, lalu ubah angkanya agar keburukannya mengecil. Itulah optimisasi.
Angka-angka itu adalah parameter model, biasanya dikumpulkan menjadi satu vektor raksasa θ. Skor keburukannya adalah loss, ditulis L(θ). Training berarti mencari di seluruh ruang parameter untuk menemukan setelan yang membuat loss itu kecil. Notasi ringkas di bawah ini mengatakan persis itu: argmin mengembalikan input pemenang (θ yang membuat loss paling kecil), bukan skor pemenangnya, dan bintang pada θ⋆ menandainya sebagai setelan terbaik itu.
Panel irigasi rumah kaca bisa memiliki ribuan zona sprinkler kecil. Setiap setelan mengubah seberapa sehat tanaman jadinya, tetapi Anda baru melihat skor panen akhir setelah airnya mengalir. Jaringan neural mirip begitu: parameter adalah setelan sprinkler, loss adalah skor panen yang ingin Anda perbaiki, dan optimisasi adalah aturan untuk mengubah banyak setelan itu sekaligus.