Değerlendirme Metrikleri

Inference, estimation, and decision-making from data

"Doğruluk", bir sınıflandırıcıyı puanlamanın bariz yolu gibi gelir — ta ki size yalan söyleyene kadar. Doğru değerlendirme metriği tamamen göreve ve farklı hataların maliyetine bağlıdır. Karışıklık matrisi ile başlayın: gerçek pozitiflerin (GP), yanlış pozitiflerin (YP), gerçek negatiflerin (GN) ve yanlış negatiflerin (YN) sayıları. Her metrik bu dört sayıdan inşa edilir.

İki tamamlayıcı metrik. Kesinlik = GP/(GP+YP) şunu sorar: "pozitif diye işaretlediklerimin kaçı gerçekten öyleydi?" Duyarlılık = GP/(GP+YN) şunu sorar: "gerçek pozitiflerin kaçını yakaladım?"

Bunlar bir ödünleşim içindedir: her şeyi işaretlerseniz duyarlılık 1'e ulaşır ama kesinlik çöker; yalnızca en emin olduğunuz durumları işaretlerseniz kesinlik fırlar ama duyarlılık düşer. F1 skoru, bunları harmonik ortalamaları olarak dengeler:

Bunun ML'deki yeriYanlış metriği seçmek ML projelerini sessizce mahveder. Dengesiz veride doğruluğu optimize etmek, asıl önemsediğiniz sınıfı görmezden gelen bir model üretir. Optimize ettiğiniz metrik, elde ettiğiniz davranıştır; bu yüzden başarıyı, yanlış pozitiflere karşı yanlış negatiflerin gerçek dünyadaki maliyetine eşlenmiş kesinlik/duyarlılık/F1/AUC ile, eğitmeden önce tanımlayın.

▶ Değerlendirme Metrikleri

← Çapraz Doğrulama ML için İstatistiksel Test →