在统计学和机器学习领域中，线性回归是一种非常基础且广泛应用的数据分析方法。它主要用于研究变量之间的线性关系，并通过拟合一条直线来预测目标值。本文将详细推导出一元线性回归方程的公式。
问题定义
假设我们有一组数据点 \((x_i, y_i)\)，其中 \(i = 1, 2, ..., n\)。我们的目标是找到一条最佳拟合直线 \(y = ax + b\)，使得这条直线能够最好地描述这些数据点的趋势。这里的参数 \(a\) 和 \(b\) 分别表示直线的斜率和截距。
最小二乘法原理
为了确定最优的 \(a\) 和 \(b\)，我们采用最小二乘法。该方法的目标是最小化所有数据点到直线的垂直距离平方和，即：
\[S(a, b) = \sum_{i=1}^{n}(y_i - (ax_i + b))^2\]
我们需要找到使 \(S(a, b)\) 达到最小值的 \(a\) 和 \(b\)。
求解过程
首先，对 \(S(a, b)\) 关于 \(a\) 和 \(b\) 分别求偏导数，并令其等于零以得到极值条件：
1. 对 \(a\) 求偏导：
\[\frac{\partial S}{\partial a} = -2\sum_{i=1}^{n}x_i(y_i - (ax_i + b)) = 0\]
2. 对 \(b\) 求偏导：
\[\frac{\partial S}{\partial b} = -2\sum_{i=1}^{n}(y_i - (ax_i + b)) = 0\]
接下来，我们将上述两个方程展开并整理：
- 对 \(a\) 的方程：
\[\sum_{i=1}^{n}x_iy_i = a\sum_{i=1}^{n}x_i^2 + b\sum_{i=1}^{n}x_i\]
- 对 \(b\) 的方程：
\[\sum_{i=1}^{n}y_i = a\sum_{i=1}^{n}x_i + nb\]
这两个方程构成了一个关于 \(a\) 和 \(b\) 的线性方程组，可以通过解这个方程组来获得 \(a\) 和 \(b\) 的具体表达式。
参数计算公式
经过进一步的代数运算，可以得到 \(a\) 和 \(b\) 的最终表达式：
\[a = \frac{n\sum x_iy_i - \sum x_i \sum y_i}{n\sum x_i^2 - (\sum x_i)^2}\]
\[b = \frac{\sum y_i - a\sum x_i}{n}\]
这里，\(n\) 表示数据点的数量，而 \(\sum x_i\)、\(\sum y_i\)、\(\sum x_iy_i\) 和 \(\sum x_i^2\) 分别代表各变量的总和。
结论
通过以上推导，我们得到了一元线性回归方程的系数 \(a\) 和 \(b\) 的计算公式。这些公式为我们提供了如何从给定的数据集中估计最佳拟合直线的方法。这种方法不仅简单易懂，而且广泛应用于各种实际问题中，如经济学、生物学和社会科学等领域。
