Distribuições Discretas Chave

A matemática da incerteza

Um punhado de distribuições com nome próprio cobre a maioria das situações discretas em ML. Cada uma é uma PMF pronta, com média e variância conhecidas, de modo que você recorre à mais adequada em vez de re-derivar do zero.

A Bernoulli(p) modela um ensaio com dois resultados: sucesso (1) com probabilidade p e fracasso (0) com probabilidade 1−p. É o bloco de construção do qual todas as outras distribuições discretas são feitas.

Duas contagens do dia a dia exibem as distribuições principais. Jogue uma moeda 10 vezes e contabilize as caras: essa contagem é Binomial, uma soma de 10 tentativas sim/não independentes. Agora conte as ligações que um serviço de atendimento recebe em uma hora: essa contagem é Poisson, a lei para eventos raros espalhados pelo tempo, com uma única taxa λ que atua duplamente tanto como sua média quanto como sua variância.

Onde isso aparece no MLQuando você escolhe uma loss de classificação, está, na verdade, escolhendo uma destas distribuições. A entropia cruzada binária é a log-verossimilhança negativa de uma Bernoulli: avalia a probabilidade única de um modelo em relação a um rótulo 0/1. A entropia cruzada multiclasse é a log-verossimilhança negativa de uma Categórica, a saída softmax avaliada em relação a um rótulo one-hot. A loss…
▶ Distribuições Discretas Chave
← VariânciaPDF & CDF →