अधिकतम संभावना अनुमान — सांख्यिकी

डेटा से अनुमान, आकलन और निर्णय निर्माण

यदि आपको पैरामीटर θ के लिए एक एकल मान चुनना, सबसे प्राकृतिक नियम: वह θ चुनें जो आपने वास्तव में देखा डेटा सबसे संभावित बनाता। वह अधिकतम संभावना अनुमान (MLE), ML में लगभग हर मॉडल के प्रशिक्षण के पीछे सिद्धांत।

डेटा x₁, …, xₙ स्वतंत्र मान, पूरे नमूने की प्रायिकता प्रति-बिंदु प्रायिकताओं का गुणनफल। θ के फलन के रूप में, यह गुणनफल संभावना:

कई छोटी प्रायिकताएँ गुणा अंडरफ़्लो शून्य और अवकलन कठिन। समाधान लॉग लेना: गुणनफल का लॉग एक योग, और लॉग बढ़ता तो अधिकतमकारक नहीं हिलता। हम लॉग-संभावना अधिकतम:

ML में इसका स्थानएक मॉडल प्रशिक्षण अधिकतम संभावना। क्रॉस-एन्ट्रॉपी हानि न्यूनतम करना ठीक लेबल की लॉग-संभावना अधिकतम; क्रॉस-एन्ट्रॉपी ऋणात्मक लॉग-संभावना। माध्य वर्ग त्रुटि न्यूनतम करना एक गॉसीयन शोर मान्यता के अंतर्गत MLE। जब आप .backward() और अनुकूलक चरण, आप ऊपर की लॉग-संभावना सतह पर चढ़ते, बस लाखों विमाओं में।