【加权最小二乘法】一、概述
加权最小二乘法（Weighted Least Squares, WLS）是一种在普通最小二乘法（OLS）基础上进行改进的回归分析方法。它主要用于处理数据中存在异方差性（heteroscedasticity）的情况，即误差项的方差不恒定，而是随着自变量的变化而变化。通过引入权重，WLS可以更准确地拟合数据，提高模型的稳健性和预测精度。
二、原理与特点
1. 基本思想
WLS通过对每个观测点赋予不同的权重，使得方差较大的观测点对回归结果的影响较小，从而减少异方差带来的偏差。
2. 数学表达
对于线性回归模型：
$$
y_i = \beta_0 + \beta_1 x_{i1} + \cdots + \beta_k x_{ik} + \varepsilon_i
$$
其中，$ \text{Var}(\varepsilon_i) = \sigma_i^2 $，WLS的目标是最小化加权残差平方和：
$$
\sum_{i=1}^{n} w_i (y_i - \hat{y}_i)^2
$$
其中，$ w_i $ 是第 $ i $ 个观测点的权重，通常取为 $ 1/\sigma_i^2 $ 或根据其他经验设定。
3. 优点
- 更适合处理异方差数据
- 提高估计的效率和准确性
- 在某些情况下能改善模型的拟合效果
4. 缺点
- 需要预先知道或合理估计误差的方差结构
- 如果权重选择不当，可能引入新的偏差
三、应用步骤
| 步骤 | 内容 |
| 1 | 收集数据并建立回归模型 |
| 2 | 检验是否存在异方差性（如使用Breusch-Pagan检验） |
| 3 | 确定权重函数或方法（如基于样本均值、方差等） |
| 4 | 构建加权回归模型并进行参数估计 |
| 5 | 检验模型的拟合效果和显著性 |
四、与普通最小二乘法的对比
| 特征 | 普通最小二乘法（OLS） | 加权最小二乘法（WLS） |
| 权重 | 所有观测点权重相同 | 不同观测点权重不同 |
| 适用场景 | 误差方差恒定时 | 误差方差不恒定时 |
| 估计效率 | 较低（在异方差下） | 更高 |
| 计算复杂度 | 简单 | 相对复杂 |
| 对异常值敏感性 | 高 | 低（若权重合理设置） |
五、总结
加权最小二乘法是处理异方差问题的一种有效手段，尤其在实际数据分析中具有重要价值。通过合理设置权重，WLS能够提升模型的稳定性和预测能力。然而，其成功依赖于对误差结构的正确理解和权重的合理选择。因此，在实际应用中，建议结合统计检验和经验判断来确定权重方案，以实现最佳的回归效果。