Come i modelli imparano davvero, dalla discesa del gradiente vanilla ad Adam
Una loss convessa ha una garanzia potente: ogni minimo locale è globale. Questo rende l'ottimizzazione concettualmente pulita. Molti obiettivi classici del ML sono convessi; le reti profonde di solito non lo sono.
La convessità vale comunque la pena impararla perché fornisce il caso di riferimento. Ti dice come sarebbe l'ottimizzazione se non ci fossero brutte trappole locali, complicazioni dovute a selle, e gravi sorprese nel paesaggio.
Un'antenna parabolica ha un'unica direzione di puntamento pulita quando la superficie del segnale è liscia e ha un solo picco. Un foglio di alluminio spiegazzato ha invece tante piccole sfaccettature lucide che possono catturare la luce localmente. L'ottimizzazione convessa è più vicina all'antenna; l'addestramento di una rete profonda è più vicino al foglio spiegazzato. La figura qui sotto mostra il test che definisce la convessità su una curva: sposta i due estremi e nota che la corda dritta tra loro non scende mai sotto la curva.