光谱定量分析模型构建与验证

第1章：光谱数据预处理（上）——噪声来源与类型、平滑滤波、基线校正、归一化

大家好，我是老张。做光谱定量分析这些年，我踩过的坑比走过的路还多。今天咱们聊聊数据预处理——这一步要是没做好，后面模型建得再漂亮也是白搭。

你想想看，光谱仪采集到的原始数据，说白了就是一堆带着噪声、基线漂移、还有各种干扰的信号。直接拿去做定量分析？我试过，结果惨不忍睹。所以，预处理是绕不开的第一步。

1.1 噪声来源与类型

噪声这东西，就像实验室里的灰尘，永远扫不干净。但咱们得知道它从哪来，才能对症下药。

常见的噪声类型：

• 热噪声（Johnson-Nyquist噪声）：探测器内部电子热运动产生的。温度越高，噪声越大。我记得有次夏天做实验，空调坏了，那数据简直没法看。
• 散粒噪声（Shot Noise）：光子到达探测器的随机性造成的。说白了就是光子数不够多，统计涨落明显。
• 闪烁噪声（1/f噪声）：低频段占主导，跟探测器的材料、工艺有关。这个比较头疼，因为它跟信号混在一起，很难分离。
• 读出噪声：电子电路在读取信号时引入的。我遇到过一台老仪器，读出噪声比信号还大，后来换了前置放大器才解决。

嗯，这里要注意：不同类型的噪声，处理方式不一样。高频噪声适合平滑滤波，低频漂移适合基线校正。千万别搞混了。

1.2 平滑滤波

平滑滤波，说白了就是把数据“磨平”一点，去掉那些毛刺。但磨得太狠，真实信号也会被磨掉。这是个技术活。

1.2.1 移动平均滤波

移动平均是最简单的方法。取一个窗口，窗口内的数据求平均，然后滑动窗口。

def moving_average(data, window_size=5):
    """移动平均滤波"""
    weights = np.ones(window_size) / window_size
    return np.convolve(data, weights, mode='same')

我个人习惯用奇数窗口，比如5、7、9。为什么？因为对称，不会引入相位偏移。我在项目中遇到过，窗口选太大，把两个相邻的峰给磨成一个了，那叫一个尴尬。

1.2.2 Savitzky-Golay滤波

这个就高级一点了。它不光是平均，而是用多项式拟合窗口内的数据。好处是能保留峰的形状和宽度。

from scipy.signal import savgol_filter

# 窗口大小11，多项式阶数3
filtered_data = savgol_filter(raw_data, window_length=11, polyorder=3)

我曾经做过对比实验：同样的数据，移动平均把峰高压低了5%，而SG滤波只压低了1%。所以，如果你的峰需要定量分析，SG滤波是首选。

1.3 基线校正

基线漂移是光谱分析的老大难问题。原因很多：温度变化、光源老化、样品池污染……你永远不知道下一个漂移什么时候来。

1.3.1 多项式拟合

这个方法假设基线是缓慢变化的，可以用一个低阶多项式来拟合。

import numpy as np

def polynomial_baseline(x, y, order=3):
    """多项式拟合基线"""
    coeffs = np.polyfit(x, y, order)
    baseline = np.polyval(coeffs, x)
    return baseline

但这里有个坑：多项式拟合会把信号峰也当成基线的一部分。所以，你得先找到那些没有信号峰的“纯基线”区域。我一般会手动选几个点，或者用迭代法自动识别。

1.3.2 不对称最小二乘法（AsLS）

这个方法我特别喜欢。它给正残差和负残差不同的权重，自动把基线“压”在信号下面。

def asls(y, lam=1e5, p=0.01):
    """不对称最小二乘法基线校正"""
    from scipy import sparse
    from scipy.sparse.linalg import spsolve
    
    L = len(y)
    D = sparse.diags([1, -2, 1], [0, -1, -2], shape=(L, L-2))
    w = np.ones(L)
    
    for _ in range(10):
        W = sparse.spdiags(w, 0, L, L)
        Z = W + lam * D.dot(D.T)
        z = spsolve(Z, w * y)
        w = p * (y > z) + (1 - p) * (y < z)
    
    return z

参数lam控制平滑程度，p控制不对称性。lam越大，基线越平滑；p越小，基线越贴近信号底部。我常用的组合是lam=1e5, p=0.01，效果还不错。

1.4 归一化

归一化的目的，是让不同条件下采集的光谱具有可比性。比如，今天和明天测的样品，光源强度可能不一样，归一化后就能直接比较了。

1.4.1 最大最小归一化

把数据缩放到[0, 1]区间。简单粗暴，但容易受异常值影响。

def min_max_normalize(data):
    """最大最小归一化"""
    return (data - data.min()) / (data.max() - data.min())

我在项目中遇到过，有个样品表面有灰尘，导致某个波长处出现异常高值。用最大最小归一化后，整个光谱都被这个异常值“压扁”了。所以，用之前最好先做异常值检测。

1.4.2 标准正态变量变换（SNV）

SNV是光谱分析中常用的方法。它对每个光谱单独做标准化：减去均值，除以标准差。

def snv_normalize(data):
    """标准正态变量变换"""
    mean = np.mean(data)
    std = np.std(data)
    return (data - mean) / std

SNV的好处是能消除光程变化、散射效应等乘性干扰。我做过对比：同样的数据，用SNV处理后，模型的预测误差降低了30%。

知识体系总览

下面这张图，是我自己整理的预处理流程。你跟着走，基本不会出错。

这张图把整个预处理流程串起来了。你从原始数据开始，先做平滑滤波去掉高频噪声，再做基线校正消除漂移，最后归一化让数据可比。顺序别搞反了——我见过有人先归一化再滤波，结果噪声也被放大了。

---

公众号:蓝海资料掘金营，微信deep3321