Produkt- und Quotientenregel

Eindimensionale Analysis aus ersten Prinzipien

Wenn zwei Funktionen miteinander multipliziert werden, darf man nicht einfach ihre Ableitungen multiplizieren. Das ist eine verlockende Abkürzung, und eine falsche. Die korrekte Regel berücksichtigt, dass sich beide Faktoren gleichzeitig ändern.

Stellen Sie sich ein Rechteck vor, dessen Breite f und dessen Höhe g ist; sein Flächeninhalt beträgt f·g. Wenn beide Seiten ein wenig wachsen, wächst die Fläche an zwei Fronten: ein Streifen aus der größeren Breite plus ein Streifen aus der größeren Höhe. Deshalb hat die Antwort zwei Terme und nicht einen.

Stelle dir einen rechteckigen Garten vor, dessen Breite und Höhe beide gleichzeitig verlängert werden. Die neue Fläche ist nicht nur ein Streifen, du gewinnst einen Streifen entlang der längeren Breite und einen Streifen entlang der größeren Höhe. Deshalb hat die Produktregel zwei Terme: Wenn sich zwei veränderliche Größen multiplizieren, trägt das Wachstum jeder einzelnen ihre eigene Scheibe zur Gesamtsumme bei.

Wo das im ML vorkommtDiese Regeln sind die Bausteine, aus denen autograd alles zusammensetzt. Ein normierter Score wie eine Softmax-Wahrscheinlichkeit oder ein Attention-Gewicht ist ein Quotient (etwas geteilt durch eine Summe), und seine Differentiation verwendet im Hintergrund die Quotientenregel. Die Skalierung der Batch-Norm, die Division durch eine Standardabweichung bei der Layer-Norm: Wo immer ein Netz eine…
▶ Produkt- und Quotientenregel
← Grundregeln für AbleitungenKettenregel →