MLE pour Distributions Courantes

Inférence, estimation et prise de décision à partir des données

La recette du MLE est toujours la même : écrivez la log-vraisemblance, prenez sa dérivée par rapport au paramètre, annulez-la, résolvez. Pour les deux distributions que vous rencontrerez le plus, la réponse est magnifiquement simple : c'est juste une moyenne d'échantillon.

Pour des données tirées d'une distribution normale, maximiser la log-vraisemblance donne les estimateurs les plus intuitifs possibles :

Imaginez que vous lancez une pièce tordue un tas de fois pour deviner à quel point elle est biaisée. Le maximum de vraisemblance ne s'en tourmente pas : la seule meilleure estimation pour la probabilité de face est juste la fraction de faces que vous avez réellement vue. L'estimation p̂ n'est rien d'autre que le compte courant transformé en une moyenne, la même simple moyenne d'échantillon x̄ déguisée.

Où cela apparaît en MLCes formes fermées sont pourquoi les modèles les plus simples sont si rapides à ajuster. La régression linéaire est le MLE sous bruit gaussien et a une solution fermée en une étape. La régression logistique est le MLE pour un label Bernoulli/catégoriel, sans forme fermée, mais le même principe pilote les pas de gradient. La recette « log-vraisemblance → dérivée → zéro » est le squelette de toute…
▶ MLE pour Distributions Courantes
← Estimation du Maximum de VraisemblanceEstimation Bayésienne →