Градієнти крізь лінійний шар

Обчислення багатьох змінних із перших принципів

Лінійний шар пропускає вхідний вектор x через матрицю ваг W, а потім додає зсув b (зі зсувом відображення технічно афінне, лінійне плюс зсув, хоча в ML його всюди називають лінійним шаром). Пряме обчислення коротке: z = Wx + b. Навчання потребує також зворотного обчислення: як втрата змінюється з кожним входом, кожною вагою і кожним зсувом.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Градієнти крізь лінійний шар
← Графи обчисленьСтабільний softmax і log-sum-exp →