Градиенты через линейный слой

Многомерный анализ с первых принципов

Линейный слой пропускает входной вектор x через матрицу весов W, а затем добавляет смещение b (со смещением отображение технически становится аффинным — линейным плюс сдвиг, хотя в ML его всё равно повсеместно называют линейным слоем). Прямой расчёт короток: z = Wx + b. Для обучения нужен и обратный расчёт: как потеря меняется от каждого входа, каждого веса и каждого смещения.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Градиенты через линейный слой
← Графы вычисленийУстойчивый softmax и log-sum-exp →