Экспонента и логарифм — Математический анализ I

Две функции управляют всем в машинном обучении: экспонента eˣ и её обратная — натуральный логарифм ln(x). Они встречаются в вероятностях, в функциях потерь, в росте и убывании. Удобство с ними окупается повсюду.

Определяющая черта eˣ — скорость роста равна текущему значению: чем больше, тем быстрее растёт. В этом и суть «экспоненциального роста»: не просто «быстро», а пропорционально себе. Особое число e ≈ 2.718 — основание, для которого это точно верно.

Логарифм ln(x) просто отменяет eˣ: отвечает «e в какую степень даёт x?» Поэтому ln(eˣ) = x и e^{ln x} = x. Поскольку они взаимно обратны, их графики — зеркальные отражения относительно прямой y = x — двигайте точку на фигуре и наблюдайте, как отражение обрисовывает другую кривую.

Где это встречается в MLПерекрёстная энтропийная потеря, рабочая лошадка классификации, построена из −ln(p), где p — вероятность, назначенная моделью правильному классу. Логарифм здесь именно из-за правила «произведение в сумму»: вероятность целого набора данных — гигантское произведение, и взятие ln превращает его в сумму, которую оптимизатор может дифференцировать почленно. «Логарифм правдоподобия» — это трюк.