Funzioni f: Rⁿ → R

Calcolo multivariabile dai primi principi

Una funzione f: Rⁿ → R prende un vettore e restituisce un singolo numero. L'esempio che guida il machine learning è la loss: dai in pasto ogni peso della rete, ottieni un numero che dice quanto male sta facendo. Tutto l'addestramento è una caccia al punto più basso di questa funzione.

Per due input puoi davvero immaginarla: z = f(x, y) è una superficie, un paesaggio di colline e valli galleggianti sopra il piano xy. L'altezza a ciascun (x, y) è il valore della funzione.

Immagina l'aria in una stanza: posizionati in un punto qualsiasi e un termometro leggerà esattamente una temperatura. Quella è una funzione f: R² → R sotto mentite spoglie: entra una posizione (x, y), ed esce un singolo numero (il calore in quel punto). L'intera stanza diventa un paesaggio di zone calde e fredde, più alto vicino al termosifone, più basso vicino alla finestra.

Dove si trova nel MLQuando guardi una curva di loss scendere durante l'addestramento, stai guardando una passeggiata attraverso una di queste superfici. La loss L(w₁, …, wₙ) è una funzione Rⁿ → R sullo spazio dei pesi, con n nei milioni o miliardi, e la curva sul tuo schermo è solo un'ombra unidimensionale di quella passeggiata. Le immagini di 'minimi piatti vs. acuti' di cui discutono i ricercatori sono…
▶ Funzioni f: Rⁿ → R
← Vettori e Geometria di RⁿFunzioni f: Rⁿ → Rᵐ →