Inferência, estimação e tomada de decisão a partir de dados
A regressão linear simples é a ponte da estatística para o machine learning: é o modelo mais simples capaz de prever. Supõe-se que a relação entre uma entrada x e uma saída y é uma reta acrescida de ruído aleatório, e você procura a reta que melhor se ajusta.
β₀ é o intercepto, β₁ a inclinação e ε o ruído. "Melhor ajuste" significa a reta que minimiza o total dos resíduos ao quadrado (as distâncias verticais entre os pontos e a reta), o método dos mínimos quadrados ordinários (OLS).
Arraste a inclinação e o intercepto na figura e observe a soma dos erros ao quadrado (SSE) variar. A reta OLS é a única que leva o comprimento total ao quadrado dos segmentos de resíduo, em coral, até o seu mínimo.