第3章线性回归与最小二乘法

3. 线性回归与最小二乘法：一元线性回归、多元线性回归、OLS估计、R-squared与调整R-squared

线性回归，说白了就是量化策略里最基础的「找关系」工具。你想想看，我们做量化，本质上就是在找各种因子和收益率之间的关联。而线性回归，就是帮我们把这种关联用一条直线（或者一个超平面）给画出来。

我个人习惯把线性回归叫做「量化策略的第一把尺子」。为什么？因为它简单、直观，而且几乎所有更复杂的模型，最后都能追溯到它的思想上。今天我们就把它彻底聊透。

先从一个因子说起。假设我们只有一个因子——比如市盈率（PE），想用它来解释股票的收益率。一元线性回归就是干这个的。

它的数学形式很简单：

y = β₀ + β₁x + ε

其中：

我在项目中遇到过一件事：有次用一元回归回测一个动量因子，β₁的t统计量特别显著，我当时还挺高兴。结果后来发现，是因为那个时间段市场整体在涨，因子和收益率之间其实是伪相关。所以记住：显著不等于因果。

核心要点：一元线性回归的核心假设是「线性关系」和「误差独立同分布」。如果这两个假设不成立，你的β₁再显著也是白搭。

现实中的量化策略，很少只用单一因子。你想想看，一个完整的选股模型，可能要同时考虑估值、动量、波动率、流动性等多个维度。这时候就需要多元线性回归了。

数学形式扩展为：

y = β₀ + β₁x₁ + β₂x₂ + ... + βₖxₖ + ε

用矩阵表示更简洁：

y = Xβ + ε

其中X是一个n×(k+1)的矩阵，每一列代表一个因子，每一行代表一个样本（比如一只股票在某一天的数据）。

嗯，这里要注意：多元回归最怕的就是多重共线性。我曾经在构建一个包含5个技术因子的模型时，发现两个因子之间的相关系数高达0.92。结果呢？回归系数的标准误变得巨大，因子显著性全都不稳定。后来我用了VIF（方差膨胀因子）诊断，才把问题找出来。

避坑指南：我曾经在因子筛选时，一口气加了20个相关性很高的因子进模型。结果R²确实很高，但样本外预测一塌糊涂。这就是典型的「过拟合」。记住：因子不是越多越好，关键是正交。

OLS（Ordinary Least Squares，普通最小二乘法）是估计线性回归参数最经典的方法。它的目标很简单：让预测值和真实值之间的误差平方和最小。

数学上，我们要最小化：

RSS(β) = Σ(yᵢ - ŷᵢ)² = (y - Xβ)ᵀ(y - Xβ)

对β求导并令导数为0，得到OLS估计的解析解：

β̂ = (XᵀX)⁻¹Xᵀy

这个公式看着简单，但背后有几个关键假设：

我刚开始做量化时，总觉得这些假设是理论家的玩具。直到有一次，我用OLS估计了一个波动率因子模型，结果样本外回测直接崩了。后来一查，发现误差项存在明显的异方差——高波动股票的错误率远高于低波动股票。从那以后，我再也不敢忽视这些假设了。

重要提醒：在金融时间序列中，OLS的「严格外生性」假设经常被违反。比如用滞后收益率预测当前收益率，误差项和自变量之间就可能存在相关性。这时候需要用工具变量法或GMM来替代OLS。

模型建好了，怎么评价它好不好？R²（R-squared，决定系数）就是最常用的指标。

R²的定义是：

R² = 1 - RSS / TSS

其中：

R²的取值范围是[0, 1]，越接近1说明模型解释力越强。但这里有个坑：只要你往模型里加变量，R²就只会增加，不会减少。哪怕加进去的是一个随机噪声变量，R²也会上升一点点。

这就是为什么我们需要调整R²（Adjusted R-squared）：

R²_adj = 1 - (RSS/(n-k-1)) / (TSS/(n-1))

调整R²对变量数量做了惩罚。如果你加了一个没用的变量，R²_adj可能反而会下降。我个人习惯在因子筛选时，同时看R²和R²_adj的差距——如果差距很大，说明模型里可能塞了太多冗余因子。

实战经验：我在做多因子选股模型时，通常会把R²_adj作为模型选择的基准之一。但记住：R²高不等于预测能力强。我见过R²高达0.95的模型，样本外预测却一塌糊涂——因为它在样本内过度拟合了噪声。

为了让你更直观地理解这一章的知识结构，我画了一张图：

这张图把这一章的核心逻辑串起来了。从左到右，从简单到复杂：先理解单因子的一元回归，再扩展到多因子的多元回归，然后用OLS去估计参数，最后用R²和调整R²来评价模型好坏。

嗯，最后说一句：线性回归虽然基础，但它是量化策略因果归因的基石。你想想看，后面要学的Lasso、Ridge、甚至因果森林，本质上都是在解决线性回归解决不了的问题。把这一章吃透，后面的路就好走了。