Метрики оценки — Статистика · Mathematics for Machine Learning

Вывод, оценивание и принятие решений по данным

«Точность» кажется очевидным способом оценить классификатор — пока не солжёт. Правильная метрика оценки полностью зависит от задачи и цены разных ошибок. Начните с матрицы ошибок: счёт истинно положительных (TP), ложно положительных (FP), истинно отрицательных (TN) и ложно отрицательных (FN). Каждая метрика строится из этих четырёх чисел.

Две дополнительные метрики. Точность = TP/(TP+FP) спрашивает «из отмеченных положительными, сколько реально?» Полнота = TP/(TP+FN) спрашивает «из реальных положительных, сколько поймали?»

Они конкурируют: отметьте всё — полнота 1, точность провал; отметьте только вернейшие — точность взлетает, полнота падает. F1-мера балансирует их как гармоническое среднее:

Где это встречается в MLВыбор неверной метрики тихо губит ML-проекты. Оптимизация точности на несбалансированных данных даёт модель, игнорирующую класс, который вам нужен. Метрика, которую оптимизируете, — поведение, которое получаете, так что определяйте успех через точность/полноту/F1/AUC до обучения, под реальную цену ложноположительных против ложноотрицательных.