Базові правила похідних — Обчислення I

Обчислювати похідну з означення границі кожного разу було б виснажливим. Жменя правил дозволяє диференціювати майже все поглядом. Вивчіть їх — і вам більше не знадобиться границя для звичайних функцій.

Робоча конячка. Щоб продиференціювати ступінь, винесіть показник спереду і зменште його на один:

Вимірювати швидкість автомобіля вручну, відзначаючи відстані і засікаючи час секундоміром, працює, але болісно повільно. Спідометр, підключений до коліс, дає ту саму відповідь миттєво. Правила похідних — це той самий вбудований скорочений шлях: замість того щоб молоти через означення границі кожного разу, ви зчитуєте нахил прямо з формули.

Де це в MLКожен фреймворковий рушій autograd має ці правила вбудовані. Коли ви викликаєте .backward(), він застосовує правило ступеня, правило суми і похідні стандартних функцій (плюс правило ланцюжка, наступний модуль) автоматично через мільйони операцій. Знання їх вручну — це спосіб перевірити градієнт, налагодити власний шар чи вивести похідну втрати на папері.