Inférence, estimation et prise de décision à partir des données
La « précision » (accuracy) ressemble à la façon évidente de scorer un classifieur, juste jusqu'à ce qu'elle vous mente. La bonne métrique d'évaluation dépend entièrement de la tâche et du coût des différentes erreurs. Commencez par la matrice de confusion : comptes des vrais positifs (TP), faux positifs (FP), vrais négatifs (TN), et faux négatifs (FN). Toute métrique est construite à partir de ces quatre nombres.
Deux métriques complémentaires. La Précision = TP/(TP+FP) demande « parmi ce que j'ai marqué positif, combien l'étaient vraiment ? » Le Rappel = TP/(TP+FN) demande « parmi les positifs réels, combien ai-je attrapés ? »
Elles se compensent : marquez tout et le rappel atteint 1 mais la précision s'effondre ; marquez seulement les cas les plus sûrs et la précision s'envole tandis que le rappel chute. Le score F1 les équilibre comme leur moyenne harmonique :