Convexitair

Eénvariabelecalculus vanuit eerste principes

Convexitair is de vorm die optimalisatie makkelijk maakt. Een convexe functie kromt overal naar boven, zoals een kom, en dat ene kenmerk maakt het makkelijk om te minimaliseren: er is precies één laagste punt, en elke afdaling leidt rechtstreeks ernaartoe.

Er zijn drie equivalentievelijke manieren om convexitairheid te zien. Eerst, de tweede afgeleide is overal niet-negatief: f″(x) ≥ 0. Tenslotte, de kromme kromt naar boven en krult nooit omlaag. Derde, het definitieve beeld, een snijlijn tussen elk tweetal punten ligt boven de kromme.

Stel je een gladde vallei voor, of de binnenkant van een kom, en laat er ergens een knikker vallen. Waar hij ook begint, de knikker rolt altijd naar het enige laagste punt en komt daar tot rust. Dat is precies wat convexiteit je oplevert: één vallei, geen valse bodems, dus elk pad bergafwaarts leidt naar het enige ware minimum.

Waar dit voorkomt in MLConvexitairheid is de scheidslijn in ML. Lineaire/logistische regressie en SVM's hebben convexe verliesfuncties: één globaal minimum, training is betrouwbaar en herhaalbaar. Diepe netwerken hebben wilden niet-convexiteit met talloze lokale minima en zadelpunten, waarom verschillende willekeurige initiële initialisaties in verschillende oplossingen belanden, waarom de leerfactor zo belangrijk is,…
▶ Convexitair
← Tweede Afgeleiddes TestGradiëntenafname Voorbeeld →