Funktionen f: Rⁿ → Rᵐ

Mehrdimensionale Analysis aus ersten Prinzipien

Bisher war die Ausgabe eine einzelne Zahl. Lassen wir sie nun ebenfalls zu einem Vektor werden. Eine Funktion f: Rⁿ → Rᵐ nimmt einen Vektor entgegen und gibt einen Vektor zurück: viele Zahlen hinein, viele Zahlen hinaus. Genau das ist die Struktur einer Schicht layer eines neuronalen Netzes, in die ein Eingabevektor eintritt und aus der ein transformierter Vektor austritt.

Am besten versteht man eine vektorwertige Funktion, indem man sie eine Ausgabekoordinate nach der anderen liest. Jede Ausgabekomponente ist selbst eine gewöhnliche skalare Funktion Rⁿ → R, die man Komponentenfunktion nennt. Stapelt man m von ihnen, so erhält man die gesamte Abbildung.

Ein Mischpult verwandelt einige Eingaberegler in mehrere Ausgabewerte gleichzeitig: Wenn man die Schieberegler bewegt, reagiert jede Anzeige. Das ist eine Funktion f: Rⁿ → Rᵐ: Ein Vektor von Eingaben geht hinein, ein Vektor von Ausgaben kommt heraus. Um sie zu verstehen, liest man eine Anzeige nach der anderen ab, denn jede Ausgabekoordinate f₁, f₂ usw. ist ihr eigenes gewöhnliches Rezept, das aus denselben Eingabereglern gebildet wird.

Wo das im ML vorkommtDer Vorwärtsdurchlauf jedes neuronalen Netzes ist eine Komposition vektorwertiger Funktionen. Jede Schicht ist eine Funktion f: Rⁿ → Rᵐ: eine lineare Abbildung Wx + b, gefolgt von einer elementweisen Nichtlinearität. Zu verfolgen, wie sich ein kleiner Anstoß der Eingabe Koordinate für Koordinate durch diese Kette fortpflanzt, ist genau das, was die Jacobi-Matrix (Modul 3) und die Backpropagation…
▶ Funktionen f: Rⁿ → Rᵐ
← Funktionen f: Rⁿ → RGrenzwerte und Stetigkeit in Rⁿ →