Подстановка (u-sub) — Математический анализ I

Подстановка (часто u-подстановка) — техника интегрирования, обращающая цепное правило. Когда интеграл содержит функцию и копию её производной, можно свернуть громоздкую композицию в чистый, простой интеграл, переименовав внутреннюю часть.

Рецепт: найдите внутреннюю функцию, назовите u = g(x), вычислите du = g′(x) dx и перепишите интеграл полностью через u. Если u выбрано хорошо, кусок g′(x) dx уже сидит там, чтобы стать du, и интеграл становится тривиальным.

Метод подстановки похож на обмен денег на более простую валюту для того, чтобы произвести расчеты, а затем обмен обратно. Интеграл неудобен в своей оригинальной «валюте» x, поэтому вы переходите к чистой единице u, выполняете простую арифметику с ней и в конце конвертируете ответ обратно в x. Если грамотно выбрать этот обмен, громоздкий расчет превратится в тот, который вы сможете решить в уме.

Где это встречается в MLПодстановка — интегральное зеркало цепного правила, а цепное правило — обратный пропуск, так что это та же механика с интегральной стороны. Идея замены переменных также лежит в основе нормализующих потоков в генеративном моделировании, где вы преобразуете простое распределение в сложное и отслеживаете, как плотность масштабируется якобианом: в точности g′(x) подстановки, обобщённая на много…