Konečné diference a kontrola gradientu

Matematická analýza více proměnných od základních principů

Automatické derivování dokáže spočítat miliony derivací v jednom zpětném průchodu, ale jediná chyba ve vlastní operaci může nenápadně poslat špatný gradient celým vaším modelem. Kontrola gradientu tuto chybu zachytí pomocí konečné diference: udělejte krok o malou vzdálenost h na obě strany od bodu, který vás zajímá, odečtěte, o kolik se funkce změnila, a berte směrnici této krátké sečny jako nezávislý odhad skutečné směrnice tečny.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Konečné diference a kontrola gradientu
← Stabilní Softmax & Log-Sum-ExpKritické body v Rⁿ →