簡単な場合の最小二乗法

回帰式を

\begin{align}
\hat{y}=Ax+B
\end{align}

とする。残差の二乗和は

\begin{align}
J = \sum e_i^2 = \sum \{ y_i – (Ax_i + B) \}^2
\end{align}

これより

\begin{align}
J = \sum \left ( y_i^2 – 2A x _i y_i + 2 B y_i + A^2x^2_i + 2AB x_i +B^2 \right )
\end{align}

これらを\(A,B\)で偏微分すれば

\begin{align}
\frac{\partial J}{\partial A} &= \sum ( – 2 x _i y_i + 2A x^2_i + 2 B x_i) =0\\
\frac{\partial J}{\partial B} &= \sum ( 2 y_i + 2A x_i +2 B) =0
\end{align}

を得る。これを整理すれば

\begin{align}
A&=\frac{\sigma_{xy}}{ \sigma_{x^2} }\\
B&= \frac{1}{n} \sum y_i – \frac{1}{n} \sum Ax_i = \overline{y} – A \overline{x}
\end{align}