光谱数据清洗与预处理实战手册

📚 共计 30 章节

光谱数据清洗概述

噪声类型（随机、基线漂移、尖峰）、清洗重要性、预处理流程概览

光谱数据加载与可视化

Python读取CSV/SPA/ASCII、Matplotlib绘制原始光谱、质量观察

Python可视化

缺失值处理

缺失来源、线性/样条插值、前后向填充策略

异常值检测与处理

标准差、IQR、局部异常因子(LOF)方法

异常检测LOF

移动平均、Savitzky-Golay、高斯滤波、小波去噪

多项式拟合、ALS、自适应迭代重加权(airPLS)

归一化与标准化

最大最小值、Z-score、向量归一化、面积归一化

归一化标准化

一阶/二阶导数、SG导数计算、应用场景

光谱重采样与插值

等间隔重采样、样条插值、降/升采样策略

重采样插值

光谱裁剪与区域选择

波长裁剪、特征峰区域、去除无效波段

多元散射校正 (MSC)

MSC原理、实现步骤、近红外应用

MSC散射校正

标准正态变量变换 (SNV)

SNV原理、与MSC对比、实现代码

去趋势化 (Detrending)

线性/多项式去趋势、基线校正作用

去趋势基线

光谱增强技术

对比度拉伸、直方图均衡化、自适应增强

增强直方图

特征峰识别与对齐

寻峰算法、icoshift对齐、峰面积计算

峰识别对齐

光谱数据降维

PCA原理与实现、光谱应用、可视化

光谱数据分割

波长分割、K-means聚类、化学意义分割

数据增强 (Augmentation)

添加随机噪声、波长偏移、强度缩放模拟

光谱数据融合

低级拼接、中级特征级、高级决策级融合

时间序列光谱处理

平滑、趋势提取、周期性分析

时间序列趋势

高光谱数据预处理

数据立方体、波段选择、空间-光谱联合

高光谱立方体

拉曼光谱预处理

荧光扣除、cosmic ray去除、峰校准

红外光谱预处理

ATR校正、水汽干扰、Kramers-Kronig变换

质谱数据预处理

基线扣除、峰检测、对齐、归一化

质谱峰检测

核磁共振 (NMR) 预处理

相位校正、基线校正、化学位移校准、水峰压制

自动化预处理流水线

Scikit-learn Pipeline、自定义类、参数网格搜索

Pipeline自动化

预处理效果评估

SNR、RMSE、光谱保真度、分类/回归对比

常见陷阱与避坑指南

过度平滑、基线伪峰、归一化破坏计量关系

实战案例1：近红外土壤成分

近红外光谱土壤成分预测中的数据清洗全流程

实战近红外

实战案例2：拉曼塑料分类

拉曼光谱塑料分类中的数据预处理与模型优化