Конечные разности и проверка градиента

Многомерный анализ с первых принципов

Автоматическое дифференцирование может вычислить миллионы производных за один обратный проход, но единственная ошибка в самописной операции может незаметно пропустить неверный градиент через всю вашу модель. Проверка градиента ловит такую ошибку с помощью конечной разности: сделайте маленький шаг h в каждую сторону от нужной точки, замерьте, насколько изменилась функция, и воспримите наклон этой короткой секущей как независимую оценку истинного наклона касательной.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Конечные разности и проверка градиента
← Устойчивый softmax и log-sum-expКритические точки в Rⁿ →