Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Een convex verlies heeft een krachtige garantie: elk lokaal minimum is globaal. Dat maakt optimalisatie conceptueel schoon. Veel klassieke ML-doelfuncties zijn convex; diepe netwerken zijn dat meestal niet.
Convexiteit is nog steeds de moeite waard om te leren, omdat het het referentiegeval geeft. Het laat zien hoe optimalisatie eruit zou zien als er geen slechte lokale valkuilen, geen zadelcomplicaties en geen ernstige landschapverrassingen waren.
Een satellietschotel heeft één schone richtrichting wanneer het signaaloppervlak glad is en één piek heeft. Verkreukeld folie heeft veel kleine glanzende facetten die lokaal licht kunnen vangen. Convexe optimalisatie lijkt meer op de schotel; het trainen van een diep netwerk lijkt meer op het folie. De figuur hieronder toont de bepalende test op een convexe kromme: schuif de twee eindpunten en merk op dat de rechte koorde ertussen nooit onder de kromme duikt.