Finite Differenzen & Gradientenprüfung

Mehrdimensionale Analysis aus ersten Prinzipien

Automatisches Differenzieren kann in einem einzigen Rückwärtspass Millionen von Ableitungen berechnen, aber ein einziger Fehler in einer selbstgeschriebenen Operation kann still den falschen Gradienten durch Ihr ganzes Modell schicken. Eine Gradientenprüfung findet diesen Fehler mit einer finiten Differenz: Gehen Sie eine kleine Strecke h nach beiden Seiten des Punktes, der Sie interessiert, lesen Sie ab, wie stark sich die Funktion verändert hat, und behandeln Sie die Steigung dieser kurzen Sekante als unabhängige Schätzung der wahren Tangentensteigung.

🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.

▶ Finite Differenzen & Gradientenprüfung
← Stabiler Softmax & Log-Sum-ExpKritische Punkte in Rⁿ →