Gradienty przez warstwę liniową

Analiza wielowymiarowa od pierwszych zasad

Warstwa liniowa przepuszcza wektor wejściowy x przez macierz wag W, a następnie dodaje obciążenie (bias) b (z obciążeniem odwzorowanie jest technicznie afiniczne, czyli liniowe plus przesunięcie, choć w ML powszechnie i tak nazywa się je warstwą liniową). Obliczenie w przód jest krótkie: z = Wx + b. Trening potrzebuje też obliczenia odwrotnego, czyli ustalenia, jak strata zmienia się wraz z każdym wejściem, każdą wagą i każdym obciążeniem.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Gradienty przez warstwę liniową
← Grafy obliczeńStabilny softmax i log-sum-exp →