4. 参数辨识的数学基础：概率论与数理统计回顾、最小二乘原理、极大似然估计

各位同学，大家好。今天我们进入参数辨识的数学基础部分。说实话，这部分内容看起来有点枯燥，但它是整个课程的根基。我当年刚接触辨识时，就是吃了数学基础不扎实的亏，结果后面看算法推导就像看天书。所以，咱们今天把这几个核心概念彻底捋清楚。

4.1 概率论与数理统计：我们为什么要回顾它？

参数辨识的本质是什么？说白了，就是从带噪声的观测数据里，把系统的真实参数“挖”出来。你想想看，传感器数据有噪声，飞行环境有扰动，我们拿到的数据天生就是随机的。所以，不懂概率统计，就没法做辨识。

4.1.1 随机变量与概率分布

在气动辨识中，我们最常打交道的随机变量就是测量噪声。我个人习惯假设它服从高斯分布（正态分布）。为什么？两个原因：一是中心极限定理告诉我们，很多独立随机因素叠加的结果趋近于正态；二是数学上处理起来方便。

高斯分布的概率密度函数长这样：

p(x) = (1 / (σ * √(2π))) * exp(-(x - μ)² / (2σ²))

其中 μ 是均值，σ 是标准差。在辨识问题里，我们通常假设噪声均值为零，即 μ = 0。这个假设合理吗？嗯，这里要注意：如果传感器存在零偏，均值就不为零了。我曾经在风洞试验中遇到过这种情况，压力传感器有温漂，导致数据均值偏移，最后辨识出来的气动导数偏差很大。所以，拿到数据第一步，先检查零偏。

4.1.2 期望、方差与协方差

这几个概念是辨识算法的“砖瓦”。

• 期望 E[x]：随机变量的平均趋势。对于零均值噪声，E[ε] = 0。
• 方差 Var(x) = E[(x - μ)²]：衡量数据的离散程度。在辨识中，方差反映了噪声的强度。
• 协方差 Cov(x, y) = E[(x - μₓ)(y - μᵧ)]：描述两个随机变量之间的线性相关程度。

在最小二乘和极大似然估计中，我们经常要处理噪声的协方差矩阵 R。如果各测量通道的噪声相互独立，R 就是对角矩阵。但实际情况往往没那么理想——比如迎角传感器和侧滑角传感器的噪声可能相关，这时候 R 的非对角元素就不为零了。

4.2 最小二乘原理：最朴素的辨识方法

最小二乘法（Least Squares, LS）是参数辨识的“老大哥”。它简单、直观、好用。我入行做的第一个辨识程序，用的就是最小二乘。

4.2.1 核心思想

假设我们有一个线性模型：

y = Xθ + ε

其中 y 是观测向量，X 是回归矩阵（已知），θ 是待估参数，ε 是噪声。最小二乘的思想就是：找到一组 θ，使得模型输出与真实观测之间的误差平方和最小。

数学表达就是：

J(θ) = (y - Xθ)ᵀ(y - Xθ) → min

对 θ 求导，令导数为零，得到最小二乘解：

θ̂ = (XᵀX)⁻¹ Xᵀy

这个公式，大家一定要刻在脑子里。它是整个线性参数辨识的基石。

4.2.2 什么时候能用？什么时候不能用？

最小二乘好用，但有几个前提：

• XᵀX 必须可逆。如果列向量之间存在线性相关（多重共线性），矩阵就奇异了。我在辨识纵向气动导数时，遇到过升降舵偏角和迎角高度相关的情况，结果 XᵀX 接近奇异，辨识出来的参数方差巨大。解决办法？增加激励信号，或者用正则化方法。
• 噪声 ε 必须是零均值的。如果噪声均值不为零，估计结果会有偏。
• 噪声与回归矩阵 X 不相关。如果存在反馈（比如闭环辨识），这个条件可能不满足，需要用其他方法（如辅助变量法）。

4.2.3 加权最小二乘

有时候，不同测量点的噪声强度不一样。比如，飞行包线边缘的数据噪声可能更大。这时候可以用加权最小二乘：

J(θ) = (y - Xθ)ᵀ W (y - Xθ) → min

解为：

θ̂ = (Xᵀ W X)⁻¹ Xᵀ W y

其中 W 是加权矩阵。如果 W 取为噪声协方差矩阵的逆，就得到了马尔可夫估计，这是最小方差意义下的最优线性无偏估计。

4.3 极大似然估计：从概率角度看辨识

最小二乘是从“误差最小”的角度出发。极大似然估计（Maximum Likelihood Estimation, MLE）则是从“概率最大”的角度出发。说白了，就是找一组参数，使得当前观测数据出现的概率最大。

4.3.1 似然函数

假设观测数据 y 的概率密度函数为 p(y|θ)，其中 θ 是待估参数。那么，给定观测数据 y 后，θ 的似然函数就是 L(θ|y) = p(y|θ)。极大似然估计就是：

θ̂ = argmax L(θ|y)

实际计算中，我们通常取对数，变成对数似然函数：

l(θ) = ln L(θ|y)

为什么取对数？因为乘法变加法，求导方便。

4.3.2 高斯噪声下的MLE

如果噪声是独立同分布的高斯噪声，均值为零，方差为 σ²，那么似然函数为：

L(θ) = ∏ (1 / (σ√(2π))) * exp(-(yᵢ - xᵢθ)² / (2σ²))

取对数后：

l(θ) = -N/2 * ln(2πσ²) - (1/(2σ²)) * Σ(yᵢ - xᵢθ)²

最大化 l(θ) 等价于最小化 Σ(yᵢ - xᵢθ)²。你发现了吗？在高斯噪声假设下，极大似然估计等价于最小二乘估计！

这个结论很重要。它告诉我们：最小二乘并不是凭空想出来的，它背后有概率论的支撑。当噪声服从高斯分布时，最小二乘就是最优的。

4.3.3 MLE的优势与局限

优势：

• 渐近无偏性、渐近有效性（当样本量足够大时，估计方差达到克拉美-罗下界）
• 可以处理非高斯噪声（只要你能写出似然函数）
• 可以方便地引入先验信息（贝叶斯估计）

局限：

• 需要知道噪声的概率分布
• 计算量大（尤其是非线性模型）
• 小样本下可能有偏

4.4 知识体系总览

为了让大家对本章内容有个整体把握，我画了一张图。这张图展示了概率统计、最小二乘和极大似然估计之间的关系，以及它们在参数辨识中的位置。

4.5 小结

今天的内容，说白了就是三件事：

1. 概率统计是描述噪声的工具，是辨识问题的“语言”。
2. 最小二乘是最直接的辨识方法，简单但有效，适合线性模型和高斯噪声。
3. 极大似然估计是更一般的框架，在噪声分布已知时能给出最优估计。

我个人觉得，理解这三者的关系比记住公式更重要。公式忘了可以查，但思想通了，遇到新问题才能灵活变通。下一章我们会把这些数学工具用到具体的飞行器模型中去，看看它们到底怎么发挥作用。

---

公众号:蓝海资料掘金营，微信deep3321