Крайни разлики и проверка на градиента

Многопроменливо смятане от първи принципи

Автоматичното диференциране може да изчисли милиони производни в едно обратно преминаване, но един-единствен бъг в персонализирана операция може тихо да прати грешен градиент през целия ви модел. Проверка на градиента улавя този бъг с помощта на крайна разлика: направете малка стъпка h от двете страни на точката, която ви интересува, отчетете колко се е променила функцията, и приемете наклона на тази къса секуща за независима оценка на истинския наклон на допирателната.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Крайни разлики и проверка на градиента
← Стабилен Softmax и Log-Sum-ExpКритични точки в Rⁿ →