Calcolo a una variabile dai primi principi
Due funzioni reggono l'intero spettacolo nel machine learning: l'esponenziale eˣ e la sua inversa, il logaritmo naturale ln(x). Compaiono nelle probabilità, nelle funzioni di loss, nella crescita e nel decadimento. Prenderci confidenza adesso ripaga ovunque più avanti.
La caratteristica distintiva di eˣ è che la sua velocità di crescita coincide con il suo valore attuale: più è grande, più velocemente sale. È questo che significa davvero "crescita esponenziale": non semplicemente "veloce", ma crescente in proporzione a se stessa. Il numero speciale e ≈ 2.718 è la base per cui questo è esattamente vero.
Il logaritmo ln(x) non fa altro che annullare eˣ: risponde alla domanda "a quale potenza devo elevare e per ottenere x?" Quindi ln(eˣ) = x e e^{ln x} = x. Essendo l'una l'inversa dell'altra, i loro grafici sono immagini speculari rispetto alla retta y = x: trascina il punto nella figura e guarda il suo riflesso tracciare l'altra curva.