Funktionen f: Rⁿ → R

Mehrdimensionale Analysis aus ersten Prinzipien

Eine Funktion f: Rⁿ → R nimmt einen Vektor entgegen und gibt eine einzige Zahl zurück. Das Beispiel, das das maschinelle Lernen antreibt, ist der Verlust: Geben Sie jedes Gewicht des Netzes hinein und erhalten Sie eine einzige Zahl, die angibt, wie schlecht es abschneidet. Das gesamte Training ist die Jagd nach dem tiefsten Punkt dieser Funktion.

Bei zwei Eingaben können Sie sie sich tatsächlich bildlich vorstellen: z = f(x, y) ist eine Oberfläche, eine Landschaft aus Hügeln und Tälern, die über der xy-Ebene schwebt. Die Höhe an jedem (x, y) entspricht dem Funktionswert.

Stell dir die Luft in einem Raum vor: Wenn du an einer beliebigen Stelle stehst, zeigt ein Thermometer genau eine Temperatur an. Das ist eine versteckte Funktion f: R² → R: Eine Position (x, y) geht hinein, und eine einzige Zahl (die Wärme dort) kommt heraus. Der ganze Raum wird zu einer Landschaft aus warmen und kühlen Bereichen, höher in der Nähe des Heizkörpers, niedriger am Fenster.

Wo das im ML vorkommtWenn Sie während des Trainings eine Verlustkurve nach unten ticken sehen, beobachten Sie eine Wanderung über eine dieser Oberflächen. Der Verlust L(w₁, …, wₙ) ist eine Funktion Rⁿ → R über dem Gewichtsraum, mit n in Millionen- oder Milliardenhöhe, und die Kurve auf Ihrem Bildschirm ist nur ein eindimensionaler Schatten dieser Wanderung. Die Bilder von 'flachen vs. scharfen Minima', über die…

▶ Funktionen f: Rⁿ → R

← Vektoren und Geometrie von Rⁿ Funktionen f: Rⁿ → Rᵐ →