Базовые правила дифференцирования — Математический анализ I

Считать производную из определения через предел каждый раз — утомительно. Горстка правил позволяет дифференцировать почти что угодно на лету. Выучите их — и предел больше не нужен для обычных функций.

Рабочая лошадка. Чтобы продифференцировать степень, опустите показатель вниз и уменьшите на единицу:

Измерение скорости автомобиля вручную, с отметкой расстояний и замером времени по секундомеру, работает, но это мучительно медленно. Спидометр, подключенный к колесам, дает вам тот же ответ мгновенно. Правила дифференцирования — это тот самый встроенный короткий путь: вместо того, чтобы каждый раз продираться через определение предела, вы считываете наклон прямо из формулы.

Где это встречается в MLДвижок автограда каждого фреймворка имеет эти правила встроенными. Когда вы вызываете .backward(), он применяет правило степени, правило суммы и производные стандартных функций (плюс цепное правило, следующий модуль) автоматически по миллионам операций. Знать их вручную — способ sanity-check градиент, отладить кастомный слой или вывести градиент потери на бумаге.