Modellerin gerçekte nasıl öğrendiği: düz gradyan inişinden Adam'a kadar
Makine öğrenmesi dışarıdan tahmin, sınıflandırma, üretim, öneri gibi görünür. Ama kaputun altında tekrar eden tek bir matematiksel eylem vardır: sayılar seç, bunların ne kadar kötü olduğunu ölç, sonra kötülüğü azaltacak şekilde sayıları değiştir. İşte bu optimizasyondur.
Bu sayılar modelin parametreleridir, genellikle tek bir devasa θ vektöründe toplanır. Kötülük skoru kayıptır, L(θ) olarak yazılır. Eğitim, o kaybı küçük yapan bir ayarı bulmak için parametre uzayında arama yapmak demektir. Aşağıdaki kısa gösterim tam olarak bunu söyler: argmin kazanan skoru değil, kazanan girdiyi (kaybı en küçük yapan θ'yı) döndürür ve θ⋆ üzerindeki yıldız onu bu en iyi ayar olarak işaretler.
Bir sera sulama panelinde binlerce küçük fıskiye bölgesi olabilir. Her ayar bitkilerin ne kadar sağlıklı olacağını değiştirir, ama nihai mahsul puanını ancak su akıp bittikten sonra görürsün. Bir sinir ağı da benzerdir: parametreler fıskiye ayarlarıdır, kayıp iyileştirmek istediğin mahsul puanıdır ve optimizasyon, birçok ayarı birlikte değiştirmenin kuralıdır.