Inferência, estimação e tomada de decisão a partir de dados
A regressão linear simples é a ponte da estatística para o machine learning: é o modelo mais simples capaz de prever. Supõe-se que a relação entre uma entrada x e uma saída y é uma reta acrescida de ruído aleatório, e procuras a reta que melhor se ajusta.
β₀ é a ordenada na origem, β₁ o declive e ε o ruído. "Melhor ajuste" significa a reta que minimiza o total dos resíduos ao quadrado (as distâncias verticais entre os pontos e a reta), o método dos mínimos quadrados ordinários (OLS).
Arrasta o declive e a ordenada na origem na figura e observa a soma dos erros ao quadrado (SSE) variar. A reta OLS é a única que leva o comprimento total ao quadrado dos segmentos de resíduo, em coral, até ao seu mínimo.