Como os modelos realmente aprendem, da descida do gradiente simples ao Adam
Uma loss convexa tem uma garantia poderosa: todo mínimo local é global. Isso torna a otimização conceitualmente limpa. Muitos objetivos clássicos de ML são convexos; redes profundas geralmente não são.
Vale a pena aprender convexidade mesmo assim, porque ela dá o caso de referência. Ela mostra como a otimização seria se não houvesse armadilhas locais ruins, nenhuma complicação de ponto de sela, e nenhuma surpresa severa no terreno.
Uma antena parabólica tem uma direção de mira limpa quando a superfície do sinal é suave e tem um único pico. Papel-alumínio amassado tem muitas facetinhas brilhantes que podem captar luz localmente. A otimização convexa é mais parecida com a antena; o treinamento de redes profundas é mais parecido com o papel-alumínio. A figura abaixo mostra o teste definidor numa curva convexa: deslize os dois pontos extremos e note que a corda reta entre eles nunca fica abaixo da curva.