3、特征波段筛选之方差阈值法：原理讲解、Python实现、优缺点分析
各位同学好，今天我们聊一个非常基础但很实用的筛选方法——方差阈值法。
说实话，我刚入行做光谱分析那会儿，面对几千个波段的数据，第一反应就是「这么多维度，怎么建模？」。那时候我试过各种高大上的方法，结果发现，有时候最简单的办法反而最管用。方差阈值法就是其中之一。
3.1 核心思想：为什么方差能筛选特征？
先问大家一个问题：如果一个波段在所有样本上的数值几乎不变，你觉得它对建模有帮助吗？
答案很明显——没什么用。因为机器学习模型学的是「变化规律」，如果一个特征本身就不变化，它就无法提供任何区分信息。
举个例子，假设我们测量了100个样品的近红外光谱，在某个波段（比如1200 nm处），所有样品的吸光度都在0.45到0.46之间波动。这个波段能帮我们区分不同样品吗？基本不能。
反过来，如果另一个波段（比如1600 nm处），有的样品吸光度是0.2，有的是0.8，那这个波段就携带了丰富的信息。
方差阈值法的核心逻辑就是：
计算每个波段的方差，设定一个阈值，只保留方差大于该阈值的波段。说白了，就是「留下那些变化明显的波段，扔掉那些死气沉沉的波段」。
数学表达：
对于第 j 个波段，其方差为：
Var(Xj) = (1/(n-1)) * Σ(xij - x̄j)²
其中 n 为样本数，xij 为第 i 个样本在第 j 个波段的取值，x̄j 为该波段的均值。
保留条件：Var(Xj) ≥ threshold
3.2 我在项目中的实际体会
我记得有一次做土壤有机质含量的近红外建模，原始光谱有2151个波段。我一开始直接扔进模型训练，结果过拟合得一塌糊涂，验证集R²只有0.3左右。
后来我用方差阈值法先筛了一遍，把方差最小的30%波段去掉，剩下约1500个波段。你猜怎么着？验证集R²直接跳到了0.65。虽然不算特别高，但至少模型开始「干活」了。
为什么会这样？因为那些低方差的波段大多是噪声区域或者水吸收带，它们不仅没提供有用信息，反而干扰了模型学习。
个人经验：我建议在光谱分析中，方差阈值法可以作为第一步粗筛。它速度快、无参数依赖（除了阈值本身），能帮你快速砍掉那些明显没用的波段。
3.3 Python实现：手把手教你写代码
下面我给出一个完整的实现。代码不复杂，但我会把每一步都讲清楚。
import numpy as np
import pandas as pd
from sklearn.preprocessing import StandardScaler
def variance_threshold_selection(X, threshold=0.01):
"""
方差阈值法筛选特征波段
参数:
X : numpy array, shape (n_samples, n_features)
光谱数据矩阵，每行一个样本，每列一个波段
threshold : float
方差阈值，低于此值的波段将被剔除
返回:
selected_indices : list
保留的波段索引
variances : numpy array
每个波段的方差值
"""
# 计算每个波段的方差
variances = np.var(X, axis=0)
# 找到方差大于阈值的波段索引
selected_indices = np.where(variances > threshold)[0]
return selected_indices, variances
# 示例用法
# 假设我们有一个光谱数据矩阵 X，形状为 (100, 500)
# 100个样本，500个波段
# 生成模拟数据
np.random.seed(42)
n_samples = 100
n_features = 500
X = np.random.randn(n_samples, n_features)
# 让部分波段方差很小（模拟噪声波段）
X[:, 200:250] = 0.01 * np.random.randn(n_samples, 50) # 低方差区域
# 应用方差阈值法
threshold = 0.05
selected_idx, variances = variance_threshold_selection(X, threshold)
print(f"原始波段数: {n_features}")
print(f"保留波段数: {len(selected_idx)}")
print(f"剔除波段数: {n_features - len(selected_idx)}")
print(f"保留比例: {len(selected_idx)/n_features:.2%}")
# 可视化方差分布
import matplotlib.pyplot as plt
plt.figure(figsize=(12, 5))
plt.subplot(1, 2, 1)
plt.plot(variances, 'b-', alpha=0.7)
plt.axhline(y=threshold, color='r', linestyle='--', label=f'阈值={threshold}')
plt.xlabel('波段索引')
plt.ylabel('方差')
plt.title('各波段方差分布')
plt.legend()
plt.subplot(1, 2, 2)
plt.hist(variances, bins=50, color='steelblue', edgecolor='white')
plt.axvline(x=threshold, color='r', linestyle='--', label=f'阈值={threshold}')
plt.xlabel('方差值')
plt.ylabel('波段数量')
plt.title('方差直方图')
plt.legend()
plt.tight_layout()
plt.show()
注意：阈值的选择非常关键。设得太低，筛不掉噪声；设得太高，可能把有用信息也砍掉了。我一般会先画个方差分布直方图，看看数据长什么样，再决定阈值。
3.4 方差阈值法的优缺点分析
任何方法都有两面性。我用了这么多年，总结下来就是：简单有效，但别指望它解决所有问题。
| 优点 | 缺点 |
|---|---|
|
|
避坑指南：我曾经在一个项目中，直接用原始光谱的方差做筛选，结果发现那些方差大的波段全是基线漂移造成的，跟样品成分毫无关系。后来我加了预处理（比如标准正态变量变换SNV），再算方差，效果就好多了。
3.5 什么时候该用方差阈值法？
我个人觉得，以下场景特别适合：
- 数据维度极高（比如几千个波段），需要快速降维
- 作为预处理流水线的第一步，先粗筛再精筛
- 数据中存在明显的噪声波段（比如光谱两端、水吸收区域）
- 需要快速验证想法，不想在特征选择上花太多时间
但如果你面对的是以下情况，建议换别的方法：
- 特征与目标的关系是非线性的，且方差小的特征可能很重要
- 你需要精确控制特征数量（方差阈值法只能控制阈值，不能控制数量）
- 数据已经做过标准化，所有特征方差都差不多
3.6 知识体系总览
下面这张图总结了方差阈值法的核心逻辑和应用流程，我画出来方便大家理解：
嗯，以上就是方差阈值法的全部内容。它不复杂，但很实用。你想想看，在光谱分析中，很多时候我们面对的就是「噪声多、维度高、样本少」的困境。方差阈值法就像一把扫帚，先把明显没用的垃圾扫掉，剩下的再慢慢精挑细选。
下一节我们会讲另一种筛选方法——相关系数法。不过那是后话了，先把今天的内容消化掉。记住：简单方法用好了，比复杂方法用错了强一百倍。
公众号:蓝海资料掘金营，微信deep3321