Gradyan İnişine Ön Bakış

Single-variable calculus from first principles

Bir eğrinin en düşük noktasını bulmak istediğini, ama yalnızca ayaklarının tam altındaki zemini görebildiğini varsay — sadece eğimi hissedebiliyorsun, başka hiçbir şeyi değil. Ne yaparsın? Basit: yokuş aşağı yönde bir adım at, sonra tekrar hisset, sonra tekrar adım at. Bunu tekrarla. Bu, neredeyse tüm modern AI modellerini eğiten algoritma olan gradyan inişidir.

Bir adım ötesini göremediğiniz kadar yoğun bir siste yokuş aşağı yürüdüğünüzü hayal edin. Vadinin dibini fark edemezsiniz, ancak ayağınızla zeminin ne yöne eğimli olduğunu hala hissedebilir ve o yöne bir adım atabilirsiniz. Hisset, adım at, hisset, adım at. Gradyan inişi tam olarak en alçak zemine doğru yapılan bu kör, sabırlı sürüklenmedir.

Her adımda konumunu güncelleyen bir kural olarak yazarsak:

Bunun ML'deki yeriBu tek satır, derin öğrenmedeki her optimize edicinin kalbidir. Ağırlık güncellemesi ruhen aynıdır: w ← w − η∇L; burada ∇L sonraki dersten gelen çok boyutlu türevdir (gradyan). SGD, Adam, RMSProp ve diğerleri bu iskeletin geliştirilmiş hâlleridir — daha akıllı adım boyları, momentum, parametre başına oranlar — ama kemikler tam olarak yukarıdaki kuraldır. Konveks olmama, derin ağların tek bir…
▶ Gradyan İnişine Ön Bakış
← KonvekslikSistematik Grafik Çizim Protokolü →