Funzioni f: Rⁿ → Rᵐ

Calcolo multivariabile dai primi principi

Finora l'output era un singolo numero. Lasciamo che cresca in un vettore anche. Una funzione f: Rⁿ → Rᵐ prende un vettore e restituisce un vettore: molti numeri in, molti numeri out. Questa è esattamente la forma di uno strato di una rete neurale, dove un vettore di input entra e un vettore trasformato esce.

Il modo per capire qualsiasi funzione a valori vettoriali è leggerla una coordinata di output alla volta. Ciascuna componente di output è essa stessa una ordinaria funzione scalare Rⁿ → R, chiamata funzione componente. Impila m di esse e hai l'intera mappa.

Un mixer audio trasforma alcune manopole di ingresso in diverse letture di uscita contemporaneamente: spingi i cursori e ogni misuratore risponde insieme. Quella è una funzione f: Rⁿ → Rᵐ: un vettore di ingressi entra, un vettore di uscite esce. Per capirlo leggi un misuratore alla volta, poiché ogni coordinata di uscita f₁, f₂, e così via è la sua normale ricetta costruita dalle stesse manopole di ingresso.

Dove si trova nel MLIl forward pass di qualsiasi rete neurale è una composizione di funzioni a valori vettoriali. Ciascuno strato è una f: Rⁿ → Rᵐ: una mappa lineare Wx + b seguita da una non linearità elemento per elemento. Tracciare come una piccola spinta all'input si propaga attraverso questa catena, coordinata per coordinata, è esattamente ciò che la Jacobiana (Modulo 3) e la backpropagation (Modulo 4)…
▶ Funzioni f: Rⁿ → Rᵐ
← Funzioni f: Rⁿ → RLimiti e Continuità in Rⁿ →