Kettenregel

Eindimensionale Analysis aus ersten Prinzipien

Die Kettenregel ist die Regel, auf der die Backpropagation aufbaut. Sie sagt dir, wie du eine Verkettung ableitest: eine Funktion innerhalb einer anderen Funktion, wie f(g(x)).

Um "äußere von innerer" abzuleiten, bildest du zuerst die äußere Ableitung (und lässt die innere unverändert) und multiplizierst dann mit der inneren Ableitung. Die Änderungsraten multiplizieren sich entlang der Kette.

Denk daran wie an eine Pipeline: x → g → f. Eine kleine Änderung in x wird durch g′ verstärkt, und diese Änderung wird wiederum durch f′ verstärkt. Die Gesamtverstärkung ist das Produkt der beiden. Die Abbildung verfolgt, wie sich die Ableitungen entlang der Verkettung multiplizieren.

Wo das im ML vorkommtBackpropagation ist die Kettenregel, rückwärts durch ein Netz durchgereicht. Ein tiefes Netz ist eine einzige riesige Verkettung (Schicht um Schicht um Schicht), und der Gradient des Loss bezüglich eines frühen Gewichts ist ein Produkt lokaler Ableitungen, eine pro Schicht, multipliziert entlang des Pfades. Deshalb treten "verschwindende Gradienten" auf: Multipliziert man viele kleine…
▶ Kettenregel
← Produkt- und QuotientenregelImplizite Differentiation →