3. 经典线性回归模型(CLRM):模型设定、OLS估计量推导、高斯-马尔可夫定理、拟合优度R²

各位同学,今天我们聊一个非常核心的话题——经典线性回归模型,简称CLRM。说实话,这玩意儿是金融计量经济学的基石。我当年刚入行时,觉得它太简单,不就是画条线嘛。结果在实际项目中,因为没吃透它的假设条件,吃了不少亏。今天咱们就把这块硬骨头啃下来。

3.1 模型设定:CLRM的五个基本假设

先说说CLRM到底长什么样。它的数学形式是这样的:

Y_i = β₁ + β₂X_i + u_i

其中Y是被解释变量,X是解释变量,β是待估参数,u是随机误差项。嗯,这里要注意,下标i表示第i个观测值。

但光有公式不够。CLRM之所以叫「经典」,是因为它有五个严格的假设条件。我习惯把这五个假设记成「LINE」加一个补充:

假设 名称 含义
L 线性性 模型对参数是线性的
I 独立性 不同观测值的误差项相互独立
N 正态性 误差项服从正态分布(用于推断)
E 同方差性 误差项的方差恒定
补充 零条件均值 E(u|X) = 0,解释变量与误差不相关

你想想看,这五个假设缺一个,OLS估计量的性质就会打折扣。我在做股票收益率建模时,就遇到过异方差问题——波动率大的时候,估计结果完全不可靠。

核心要点:CLRM的假设不是摆设。它们是OLS估计量成为「最佳线性无偏估计量」的前提条件。少了任何一个,你的结论可能都是错的。

3.2 OLS估计量推导:从残差平方和最小化说起

好了,模型设定了,接下来怎么估计参数?最常用的方法就是普通最小二乘法,简称OLS。

OLS的核心思想很简单:找到一组β,使得残差平方和最小。残差就是实际值减去拟合值:

残差 e_i = Y_i - (β₁ + β₂X_i)
残差平方和 RSS = Σ e_i² = Σ [Y_i - (β₁ + β₂X_i)]²

我们要最小化RSS。怎么做?求偏导,令其等于零。这就是微积分的基本操作:

∂RSS/∂β₁ = -2 Σ (Y_i - β₁ - β₂X_i) = 0
∂RSS/∂β₂ = -2 Σ X_i(Y_i - β₁ - β₂X_i) = 0

解这个方程组,就得到了OLS估计量的表达式:

β̂₂ = Σ (X_i - X̄)(Y_i - Ȳ) / Σ (X_i - X̄)²
β̂₁ = Ȳ - β̂₂X̄

说白了,β̂₂就是X和Y的协方差除以X的方差。这个公式我建议你背下来,因为后面几乎所有模型都会用到这个思想。

个人经验:我在做因子模型时,经常用矩阵形式来推导OLS。矩阵形式更简洁:β̂ = (X'X)⁻¹X'Y。但要注意,X'X必须可逆,这意味着不能有完全多重共线性。我曾经因为两个变量高度相关,导致矩阵接近奇异,估计结果完全失控。

3.3 高斯-马尔可夫定理:为什么OLS是最好的?

你可能会问:为什么大家都用OLS?有没有更好的方法?

高斯-马尔可夫定理回答了这个问题。它说:在CLRM的假设下,OLS估计量是所有线性无偏估计量中方差最小的。换句话说,OLS是BLUE——Best Linear Unbiased Estimator。

这个定理有三个关键词:

  • 线性:估计量是Y的线性组合
  • 无偏:E(β̂) = β,即平均而言估计准确
  • 最佳:在所有线性无偏估计量中,方差最小

我记得刚学这个定理时,觉得它很抽象。后来做蒙特卡洛模拟,对比了OLS和其他估计方法,才真正理解它的威力。在满足假设的情况下,OLS确实是最优的。

避坑指南:高斯-马尔可夫定理只在CLRM假设成立时有效。如果存在异方差或自相关,OLS就不再是最佳的了。我曾经在分析时间序列数据时忽略了自相关,结果标准误被严重低估,导致错误的统计推断。

3.4 拟合优度R²:模型解释力的度量

估计完参数后,我们得知道模型拟合得怎么样。R²就是干这个的。

R²的定义是:

R² = 1 - RSS / TSS

其中:

  • TSS = Σ (Y_i - Ȳ)²,总平方和,衡量Y的总变异
  • RSS = Σ (Y_i - Ŷ_i)²,残差平方和,模型未能解释的部分
  • ESS = Σ (Ŷ_i - Ȳ)²,回归平方和,模型解释的部分

所以R² = ESS / TSS,表示模型解释的变异占总变异的比例。取值范围在0到1之间。越接近1,说明模型拟合越好。

但这里有个坑:R²会随着解释变量数量的增加而增加,哪怕加入的变量毫无意义。所以我们需要调整R²:

调整R² = 1 - (RSS/(n-k)) / (TSS/(n-1))

其中n是样本量,k是参数个数。调整R²会对多余的变量进行惩罚。

实战建议:我一般不会只看R²。在金融领域,R²达到0.3就算不错了,因为市场噪音太大。更重要的是看系数的经济意义和统计显著性。别为了追求高R²而盲目加入变量,那叫过拟合。

3.5 知识体系总览

为了让你更直观地理解本章的知识结构,我画了一张图:

经典线性回归模型 模型设定 Y = β₁ + β₂X + u OLS估计量推导 最小化残差平方和 高斯-马尔可夫定理 OLS是BLUE 拟合优度R² 模型解释力度量 LINE + 零条件均值 无偏性、有效性 调整R²防止过拟合 CLRM是金融计量分析的起点

这张图把本章的核心内容串起来了。从模型设定出发,到OLS估计,再到高斯-马尔可夫定理保证其最优性,最后用R²评估拟合效果。每一步都环环相扣。

3.6 小结

今天的内容就到这里。我们讲了CLRM的五个假设、OLS估计量的推导、高斯-马尔可夫定理以及R²的含义。这些是金融计量经济学最基础也最重要的内容。

我个人建议你动手做一个小练习:找一组金融数据(比如股票收益率和市场指数),用Excel或Python跑一个简单回归,计算R²,看看结果是否符合你的预期。实践出真知,光看理论是不够的。

记住,CLRM是起点,不是终点。后面我们会逐步放松假设,学习更复杂的模型。但基础打牢了,后面才能走得稳。


专注资料整理