Пределы — Математический анализ I

Предел отвечает на аккуратный вопрос: по мере приближения входа к значению a, к какому числу стремится выход? Главное — не важно, что происходит в a; возможно, функция там даже не определена. Предел — про приближение, а не саму цель.

Двигайте вход к a на фигуре и наблюдайте, как выход оседает на значение L, даже через маленькую дыру, где функция не имеет собственного значения.

Можно приближаться к a слева (входы чуть ниже a) или справа (чуть выше). Это два односторонних предела. Полный (двусторонний) предел существует, лишь когда обе стороны согласны на одно число. Если слева одно значение, а справа другое — скачок, и предела нет.

Где это встречается в MLПределы — фундамент под производными (предел наклонов) и интегралами (предел сумм) — двумя двигателями обучения. Они также формализуют «сходится»: тренировочная потеря, сходящаяся к своему дну, — предел. И ловушки 0/0, которые вы учитесь обезвреживать здесь, — в точности проблемы численной устойчивости, кусающие на практике (например, безопасное вычисление log-of-softmax).