Производная — Математический анализ I

Производная отвечает на один вопрос: как быстро функция меняется в один момент? Геометрически — наклон кривой в одной точке, наклон касательной, лишь целующей кривую там.

Представьте себе спидометр в движущемся автомобиле. Ваша средняя скорость за час — это общее расстояние, деленное на общее время, но стрелка показывает нечто более точное: с какой именно скоростью вы едете в это самое мгновение. Производная — это та самая стрелка, скорость изменения, застывшая в один момент, а не размазанная по интервалу.

Но вот загадка. Наклон требует двух точек: подъём к пробегу. Одна точка не даёт, откуда мерить. Как может одинокая точка иметь наклон? Трюк — подкрасться к ней.

Где это встречается в MLГрадиент, обучающий каждую нейросеть, — ровно эта производная, применённая к потерям. Величина ∂L/∂w — наклон потерь при nudging одного веса w: её знак говорит, какое направление уменьшает потери, а величина — насколько чувствительны потери к этому весу. Обучение — это: вычислите этот предел (автоград делает это за вас, точно — без сужения h), затем шагните весом в направлении под гору. Вся…