Como os modelos realmente aprendem, do gradiente descendente simples ao Adam
Uma loss convexa tem uma garantia poderosa: todo o mínimo local é global. Isso torna a otimização conceptualmente limpa. Muitos objetivos clássicos de ML são convexos; as redes profundas normalmente não são.
Vale a pena aprender a convexidade mesmo assim porque dá o caso de referência. Diz-te como seria a otimização se não houvesse armadilhas locais más, sem complicações de sela, e sem surpresas graves na paisagem.
Uma antena parabólica tem uma direção de mira limpa quando a superfície do sinal é suave e de pico único. Papel de alumínio amarrotado tem muitas pequenas facetas brilhantes que podem apanhar luz localmente. A otimização convexa está mais perto da antena; o treino de redes profundas está mais perto do papel amarrotado. A figura abaixo mostra o teste definidor numa curva convexa: desliza os dois pontos extremos e repara que a corda reta entre eles nunca desce abaixo da curva.