Производната

Изчисление на променлива от първи принципи

Производната отговаря на един въпрос: колко бързо се променя функцията в даден момент? Геометрично това е наклонът на кривата точно в една точка, наклонът на допирателната линия (тангентата), която просто се допира до кривата в тази точка.

Помислете за скоростомера в движеща се кола. Вашата средна скорост за един час е общото разстояние разделено на общото време, но стрелката показва нещо по-остро: точно колко бързо се движите в този същия миг. Производната е тази стрелка, скоростта на промяна, замразена в един единствен момент, вместо размазана през даден интервал.

Но тук има една загадка. За наклон са нужни две точки: отношението на промяната по y към промяната по x. Една-единствена точка не дава база за измерване. Тогава как изобщо една самотна точка може да има наклон? Трикът е да се приближаваме към нея постепенно.

Къде се използва това в MLГрадиентът, който обучава всяка невронна мрежа, е точно тази производна, приложена към функцията на загубата. Величината ∂L/∂w е наклонът на загубата, когато леко промените дадено тегло w: нейният знак ви казва в коя посока загубата намалява, а нейната големина ви казва колко чувствителна е загубата към това тегло. Обучението е просто: изчислява се тази граница (системата за autograd го прави…
▶ Производната
← НепрекъснатостДиференцируемост →