Експоненциал и логаритъм — Изчисление I

Две функции движат цялото представление в машинното обучение: експоненциалната функция eˣ и обратната ѝ — естественият логаритъм ln(x). Те се появяват във вероятностите, във функциите на загуба, при растежа и затихването. Ако свикнете с тях сега, това ще ви се отплати навсякъде по-нататък.

Определящата характеристика на eˣ е, че нейният темп на растеж е равен на текущата ѝ стойност — колкото по-голяма е тя, толкова по-бързо расте. Ето какво всъщност означава "експоненциален растеж": не просто "бързо", а че расте пропорционално на самата себе си. Специалното число e ≈ 2.718 е основата, за която това е абсолютно вярно.

Естественият логаритъм ln(x) просто отменя действието на eˣ: той отговаря на въпроса "e на коя степен дава x?" Следователно ln(eˣ) = x и e^{ln x} = x. Тъй като са обратни функции, техните графики са огледални образи спрямо правата y = x — плъзнете точката във фигурата и вижте как нейното отражение чертае другата крива.

Къде се използва това в MLКръстосаната ентропия (cross-entropy loss), основният инструмент при класификацията, е изградена от −ln(p), където p е вероятността, която моделът приписва на правилния клас. Логаритъмът е там точно заради правилото за преобразуване на произведение в сума: вероятността за цял набор от данни е гигантско произведение и прилагането на ln го превръща в сума, която оптимизаторът може да диференцира…